Google Cloud lanza BigLake, un nuevo motor de almacenamiento de datos multiplataforma - TechCrunch

En su Cloud Data Summit, Google anunció hoy el lanzamiento preliminar de BigLake, un nuevo motor de almacenamiento de lagos de datos que facilita a las empresas el análisis de los datos en sus almacenes de datos y lagos de datos.

La idea central aquí es aprovechar la experiencia de Google en la operación y administración de su almacén de datos BigQuery y extenderlo a lagos de datos en Google Cloud Storage, combinando lo mejor de los lagos de datos y almacenes en un solo servicio que proporciona los formatos y esquemas de resúmenes de almacenamiento subyacentes.

Vale la pena señalar que estos datos también se pueden almacenar en BigQuery o en AWS S3 y Azure Data Lake Storage Gen2. BigLake brinda a los desarrolladores acceso a un motor de almacenamiento unificado y la capacidad de consultar los almacenes de datos subyacentes desde un solo sistema sin tener que mover o duplicar datos.

"La gestión de datos en lagos y almacenes dispares crea silos y aumenta los riesgos y los costos, especialmente cuando es necesario mover los datos”, dijo Gerrit Kazmaier, vicepresidente y gerente general de bases de datos, análisis de datos e inteligencia comercial en Google Cloud., señala en el anuncio de hoy. "Con BigLake, las organizaciones pueden unificar sus almacenes y lagos de datos para analizar datos sin preocuparse por el formato o sistema de almacenamiento subyacente, eliminando la necesidad de duplicar o mover datos de una fuente, eliminando costos y reduciendo las ineficiencias”.

Autor de la foto: Google

Usando etiquetas de política, BigLake permite a los administradores configurar sus políticas de seguridad a nivel de tabla, fila y columna. Esto incluye los datos almacenados en Google Cloud Storage, así como los dos sistemas de terceros admitidos donde BigQuery Omni, el servicio de análisis de múltiples nubes de Google, habilita estos controles de seguridad. Estos controles de seguridad también garantizan que solo los datos correctos fluyan hacia herramientas como Spark, Presto, Trino y TensorFlow. El servicio también se integra con la herramienta Dataplex de Google para brindar capacidades adicionales de administración de datos.

Google señala que BigLake proporcionará controles de acceso detallados y que su API incluirá Google Cloud, así como formatos de archivo como Apache Parquet de columnas abiertas y motores de procesamiento de código abierto como Apache Spark.

Autor de la foto: Google

"La cantidad de datos valiosos que las organizaciones necesitan administrar y analizar está creciendo a un ritmo increíble", dijo el ingeniero de software de Google Cloud, Justin Levandoski, y el gerente de producto, Gaurav Saxena, en el anuncio de hoy. “Cada vez más, estos datos se distribuyen en muchas ubicaciones, incluidos almacenes de datos, lagos de datos y almacenamiento NoSQL. A medida que los datos de una organización se vuelven más complejos y se distribuyen en entornos de datos dispares, se crean silos que presentan mayores riesgos y costos, especialmente cuando es necesario mover esos datos. Nuestros clientes lo han dejado claro; Necesitas ayuda."

Además de BigLake, Google también anunció hoy que Spanner, su base de datos SQL distribuida globalmente, pronto recibirá una nueva característica llamada Change Streams. Con estos, los usuarios pueden rastrear todos los cambios en una base de datos en tiempo real, ya sean inserciones, actualizaciones o eliminaciones. “Esto garantiza que los clientes siempre tengan acceso a los datos más actualizados, ya que pueden replicar fácilmente los cambios de Spanner a BigQuery para realizar análisis en tiempo real, activar el comportamiento de las aplicaciones posteriores con Pub/Sub o guardar cambios en Google Cloud Storage (GCS ) para el cumplimiento ", explica Kazmaier.

Google Cloud también trajo hoy Vertex AI Workbench, una herramienta para administrar todo el ciclo de vida de un proyecto de ciencia de datos, desde la versión beta hasta la disponibilidad general, e introdujo Hojas conectadas para Looker y la capacidad de acceder a los modelos de datos de Looker en su herramienta Studio BI de acceso a datos.