Google Cloud ha anunciado la vista previa de su motor de almacenamiento de lagos de datos, BigLake, como parte de su objetivo de eliminar todos los «límites de datos» y romper la barrera entre los lagos de datos y los almacenes.
Como explicó el gerente de productos de análisis de datos de Google Cloud, Sudhir Hasbe, BigLake se diseñó para proporcionar una interfaz unificada en cualquier capa de almacenamiento, incluido el lago de datos y el almacén de datos, sin importar el formato.
«Es para que no tenga que copiar los datos, mover los datos a través de sus almacenes de objetos, como en Google Cloud Storage, S3 o Azure en un entorno de múltiples nubes, y obtiene un solo lugar para acceder a todos sus datos , dijo a los medios durante una sesión informativa previa.
Hasbe agregó que BigLake puede admitir todos los formatos de archivo abiertos como Parquet, junto con motores de procesamiento de código abierto como Apache Spark o Beam, y varios formatos de tabla, incluidos Delta e Iceberg.
«Está completamente abierto», dijo.
«Estamos tomando la innovación de Google, extendiéndola al mundo del código abierto y haciéndola más abierta para todos nuestros clientes».
BigLake se convertirá en el centro de todas las inversiones de Google Clouds en el futuro.
«Nos aseguraremos de que todas las diversas herramientas y componentes funcionen a la perfección con BigLake en el futuro», dijo Hasbe.
Además, Google anunció el establecimiento de una Data Cloud Alliance que se formó junto con otros socios fundadores, incluidos Confluent, Databricks, Dataiku, Deloitte, Elastic, Fivetran, MongoDB, Neo4j, Redis y Starburst.
Bajo la alianza, los miembros proporcionarán infraestructura, API y soporte de integración para garantizar la portabilidad y accesibilidad de los datos entre múltiples plataformas y productos en múltiples entornos. También colaborarán en nuevos modelos de datos, procesos e integraciones de plataformas comunes de la industria para aumentar la portabilidad de los datos.
«Nos hemos comprometido a eliminar las barreras para bloquear los datos. Nos hemos comprometido a asegurarnos de que se pueda acceder a los datos y procesarlos en todos los productos, y nos hemos comprometido a poner al cliente en el centro de nuestra innovación conjunta», Google Bases de datos, análisis de datos, afirmó el gerente general de Looker, Gerrit Kazmaier.
Como parte de su Data Cloud Summit, el gigante tecnológico también presentó Vertex AI Workbench para reunir datos y sistemas de ML en una sola interfaz, de modo que los equipos puedan tener conjuntos de herramientas comunes en análisis de datos, ciencia de datos y aprendizaje automático. Ha sido diseñado para integrarse directamente con un conjunto completo de productos de inteligencia artificial y datos, incluidos BigQuery, Serverless Spark y Dataproc.
«Esta capacidad permite a los equipos crear, entrenar e implementar modelos ML en un entorno portátil simple que puede mejorar y hacerlo cinco veces más rápido que otras herramientas que podrían usar», dijo Henry Tappen, gerente senior de productos de Google Cloud AI.
La compañía también anunció Vertex AI Model Registry. Actualmente en versión preliminar, Model Registery ha sido diseñado para ser un «repositorio central para descubrir, usar y gobernar modelos de aprendizaje automático, incluidos los almacenados en BigQuery ML», dijo Tappen.
«Debido a que esta funcionalidad facilita que los científicos de datos compartan modelos y que los desarrolladores de aplicaciones los utilicen, los equipos estarán más capacitados para convertir los datos en decisiones en tiempo real», agregó Tappen.
