Pila de datos de Lakehouse con Raj Bains

Publicado originalmente el 12 de abril de 2022.

A medida que las organizaciones se trasladan a Spark y una arquitectura Lakehouse, descubren que las herramientas de datos se están quedando atrás. Debe ser programador para usar Spark y Airflow de manera efectiva.

Hay algunas herramientas ETL de código bajo, pero ¿es eso suficiente? Las empresas quieren tratar sus canalizaciones de datos como aplicaciones de misión crítica. Quieren DevOps para datos, con GIT, cobertura de pruebas y CI/CD. Además, las organizaciones necesitan visibilidad integral de sus canalizaciones de datos, incluido el monitoreo a nivel de columna, los metadatos y el linaje.

¿Dónde están las herramientas de datos para estas habilidades y cómo las usan los no programadores?

En el podcast de hoy, aprenda cómo la plataforma de ingeniería de datos de código bajo de Prophecy, construida sobre Spark y Airflow, proporciona una solución todo en uno para diseñar, implementar y monitorear canalizaciones de datos. Hablamos con RajbainFundador y CEO de Prophecy.

Raj ha pasado dos décadas desarrollando herramientas poderosas: Microsoft Visual Studio, ingeniero fundador de CUDA en NVIDIA, gerente de producto de Hive en Hortonworks. Le apasiona hacer que todas las empresas sean más productivas con los datos y mejorar la vida de los ingenieros de datos al reducir el esfuerzo y aumentar la alegría.

Si te gusta lo que escuchas, Prophecy tiene una oferta especial para nuestros oyentes. Vaya a Prophecy.IO/request-a-demo y escriba "sed' para el código de referencia. Si decide comprar dentro de los 3 meses posteriores a la demostración, puede obtener 10% de descuento. Si compras después de 3 meses todavía lo tienes obtenga un 5% de descuento.

Consultas sobre patrocinio: sponsor@softwareengineeringdaily.com

Copiar

Transcripción proporcionada por We Edit Podcasts. Ingeniería de software Los oyentes diarios pueden visitar weeditpodcasts.com para obtener un 15 % de descuento durante los primeros tres meses en servicios de transcripción y edición de audio con el código: SED. Gracias We Edit Podcasts por asociarse con SE Daily. Haga clic aquí para ver la transcripción de este programa.