Pila de datos de Lakehouse con Raj Bains


A medida que las organizaciones se trasladan a Spark y una arquitectura Lakehouse, descubren que las herramientas de datos se están quedando atrás. Debe ser programador para usar Spark y Airflow de manera efectiva.

Hay algunas herramientas ETL de código bajo, pero ¿es eso suficiente? Las empresas quieren tratar sus canalizaciones de datos como aplicaciones de misión crítica. Quieren DevOps para datos, con GIT, cobertura de prueba y CI/CD. Además, las organizaciones necesitan visibilidad integral de sus canalizaciones de datos, incluido el monitoreo a nivel de columna, los metadatos y el linaje.

¿Dónde están las herramientas de datos para estas habilidades y cómo las usan los no programadores?

En el podcast de hoy, aprenda cómo la plataforma de ingeniería de datos de código bajo de Prophecy, construida sobre Spark y Airflow, proporciona una solución todo en uno para diseñar, implementar y monitorear canalizaciones de datos. Hablamos con Raj Bains, fundador y director ejecutivo de Prophecy.

Raj ha pasado dos décadas desarrollando herramientas poderosas: Microsoft Visual Studio, ingeniero fundador de CUDA en NVIDIA, gerente de producto de Hive en Hortonworks. Le apasiona hacer que todas las empresas sean más productivas con los datos y mejorar la vida de los ingenieros de datos al reducir el esfuerzo y aumentar la alegría.

Si te gusta lo que escuchas, Prophecy tiene una oferta especial para nuestros oyentes. Vaya a Prophecy.IO/request-a-demo y escriba "sed' para el código de referencia. Si decide comprar dentro de los 3 meses posteriores a la demostración, puede obtener 10% de descuento. Si compras después de 3 meses todavía lo tienes obtenga un 5% de descuento.

Consultas sobre patrocinio: sponsor@softwareengineeringdaily.com

patrocinadores

WorkOS es una plataforma de desarrollo para que su aplicación esté lista para la empresa. Con unas pocas API simples, puede agregar instantáneamente funciones empresariales comunes como inicio de sesión único, SAML, aprovisionamiento de usuarios SCIM y más. Los desarrolladores encontrarán hermosos documentos y SDK que facilitan la integración. WorkOS es algo así como "Stripe para funciones empresariales". WorkOS admite aplicaciones como Webflow, Hopin, Vercel y más de 100 más. La plataforma es sólida como una roca, totalmente compatible con SOC 2 y lista incluso para los entornos empresariales más grandes. ¿Entonces, Qué esperas? Integre WorkOS hoy y prepare su aplicación para empresas. Para obtener más información y comenzar, vaya a softwareengineeringdaily.com/workos

Cox Automotive está cambiando la forma en que el mundo compra, vende, posee y usa automóviles, y tienen los datos para comprender cómo el mundo va del punto A al punto B. Con marcas como Kelley Blue Book, Autotrader, Dealer.com y más, Cox Automotive contrata ingenieros de software, científicos de datos, expertos en scrum y otros tecnólogos para crear un cambio significativo en la industria. Si desea innovar en un lugar de trabajo colaborativo, uno que valore su tiempo y el equilibrio entre el trabajo y la vida, únase a nosotros COXAUTOTECH.COM para encontrar oportunidades profesionales en Cox.

Puppet, el líder de la industria en automatización de infraestructura, lo invita a un chat junto a la chimenea para aprender cómo puede mejorar la colaboración y crear una cultura de responsabilidad compartida para el cumplimiento y la seguridad en su organización.

Únase a Alex Hin, gerente sénior de productos de Puppet, para analizar cómo los equipos de TI, seguridad, cumplimiento y gestión de riesgos pueden trabajar juntos para proteger a su organización de los riesgos.

Puede unirse a la conversación de Títeres el jueves 7 de abril a las 11:00 a. m. EST y comenzar a crear su propia cultura de responsabilidad que mejore el cumplimiento registrándose en events.puppet.com/fireside.

Con strongDM puede administrar y auditar el acceso a servidores, bases de datos y clústeres de Kubernetes, independientemente de dónde se encuentren sus empleados. Con strongDM, puede ampliar fácilmente su proveedor de identidad para administrar el acceso a la infraestructura. Puede automatizar la incorporación, la baja y el traslado de personas dentro de los roles. fuerteDM. Administre y audite el acceso a la infraestructura remota. Comience su prueba gratuita de 14 días hoy en: strongdm.com/SEDaily

Los ingenieros de datos que luchan con datos poco confiables confían en Monte Carlo, ¡la primera plataforma de observación de datos completamente automatizada y de extremo a extremo del mundo! Monte Carlo brinda a los equipos de datos visibilidad sobre la calidad y confiabilidad de sus datos analíticos para maximizar el impacto comercial. ¡Comience a confiar sus datos con Monte Carlo hoy! Visitar softwareengineeringdaily.com/montecarlodata aprender más.

Si quieres conocer otros artículos parecidos a Pila de datos de Lakehouse con Raj Bains puedes visitar la categoría Software.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir