: --Open Source; 09 Junio 2022

Meltano : ya está por convertirse en un SO de operaciones de código abierto

Meltano , la empresa de integración de datos que surgió de GitLab el año pasado , presentó hoy la versión 2.0 de su plataforma. Y para impulsar su transición a lo que llama un "SO de operaciones de datos de código abierto ", la compañía también anunció una nueva financiación inicial de $ 8.2 millones

Debutando internamente en GitLab en 2018 , Meltano surgió como lo que se conoce como una plataforma de "extracción, carga, transformación" (ELT) que ayuda a las empresas a "extraer" datos sin procesar de silos dispares (por ejemplo, múltiples aplicaciones SaaS); “cargar” estos datos en un almacén o sistema de almacenamiento de archivos; y “transformar” los datos en un formato estandarizado que sea más fácil de analizar.

Meltano ocupa un espacio de integración de datos más amplio que incluye innumerables titulares, desde jugadores propietarios como Fivetran hasta novatos de código abierto como Airbyte . Meltano, por su parte, reside directamente en el ámbito del código abierto y promete a los ingenieros de datos flexibilidad y extensibilidad: se puede alojar donde lo deseen y acceder a través de sus propias herramientas de orquestación o a través de la propia interfaz web de Meltano.

con cinta adhesiva

Con Meltano 2.0, que está oficialmente disponible hoy, Meltano dice que está terminando la era de las "plataformas de datos con cinta adhesiva", ofreciendo un producto integral que los equipos pueden usar para crear y administrar su pila de datos "ideal".

Lo que esto significa es que Meltano está yendo más allá de ELT, empaquetando herramientas de toda la pila de datos, desde la integración hasta la inteligencia empresarial (BI) y el análisis.“Esto permite que no solo las canalizaciones de datos de un equipo se administren como un proyecto de software, sino toda su plataforma de datos de extremo a extremo, desde EL (extracción y carga) hasta BI”, dijo el director ejecutivo de Meltano, Douwe Maan, a VentureBeat.

Si bien la plataforma Meltano es un producto de código abierto por derecho propio, lanzado bajo una licencia permisiva del MIT, en realidad adopta un enfoque modular, apoyándose en una serie de herramientas de código abierto de terceros como dbt , una herramienta de línea de comandos. para la transformación de datos; Apache Airflow para orquestación; y Singer , que es un "estándar de código abierto" para escribir scripts de integración de datos. Y a principios de este año, Meltano introdujo soporte para Great Expectations estándar abierto de calidad de datos .

La empresa siempre planeó admitir Apache Superset para la visualización de datos y, con la versión 2.0, ese plan se ha hecho realidad, ya que los usuarios ahora pueden instalar, configurar, integrar, probar e implementar Superset directamente a través de Meltano. Además, Meltano también es compatible con herramientas de BI y visualización de datos alternativas, como Lightdash y Evidence.dev .“Esto convierte a Meltano en el MVP [producto mínimo viable] de nuestra visión del sistema operativo de operaciones de datos, y el primer paso importante para abordar la complejidad y la fragilidad de la pila de datos moderna actual, al incorporar una infraestructura muy necesaria para mantenerlo todo junto, y el software mejores prácticas de desarrollo para permitir una iteración rápida con confianza”, continuó Maan.

En otros lugares, Meltano ahora ha ampliado el alcance de su centro de complementos , lo que permite a los usuarios encontrar no solo conectores EL compatibles, sino todas las herramientas de código abierto para potenciar su pila de datos.“Tenemos la intención de que esto se convierta en una biblioteca de todas las herramientas de datos de código abierto en el ecosistema, con Meltano como la forma más fácil de instalarlas y usarlas juntas”, dijo Maan.

Finalmente, Meltano eliminó un montón de características antiguas, como su funcionalidad heredada de BI/visualización que diseñó internamente, que ahora da paso a las encarnaciones de terceros de código abierto antes mencionadas.

De GitLab a GitHub

El lanzamiento de la versión 2.0 también se produce poco después de que Meltano migrara de su hogar original en GitLab a GitHub , que, según dijo, era para respaldar su crecimiento continuo en la fraternidad de código abierto. En pocas palabras, GitHub tiene un alcance más amplio en términos de proyectos de herramientas de datos impulsados por la comunidad.

“GitLab es una gran herramienta para la colaboración dentro de las empresas, especialmente las remotas, y obviamente está cerca de nuestros corazones desde que nacimos allí”, dijo Maan. “Pero a medida que nuestro crecimiento se acelera y la comunidad se diversifica, el cambio a GitHub tiene sentido”.

En su salida oficial de GitLab el año pasado, Meltano había revelado una ronda inicial de financiación de $ 4.2 millones liderada por el brazo de capital de riesgo de Alphabet, GV, junto con una gran cantidad de inversiones ángel de personas como el fundador de WordPress, Matt Mullenweg, y el primer patrocinador de Google, Ram Shriram. Meltano ahora ha extendido esta ronda inicial a $ 12.4 millones en total, con Venrock encabezando el aumento adicional y participando GV, Uncorrelated Ventures y Data Tech Fund.

Historias relacionadas :

¿Cómo la fundación de infraestructura abierta lleva al código abierto a los negocios?

Profesionales ya tendría un mejor control de calidad para elegir entre popietarias ó de código abierto

Meta Open Source : ya estaría transfiriendo Jest a la Fundación OpenJS

Android Open Source Project : estaría funcionando sin Google

Novu : ha diseñado una infraestructura de notificación para código abierto dirigido a desarrolladores

Appwrite : ha lanzado un fondo dirigido al desarrollo de software de código abierto

¿Porqué la economía es variable para el código abierto?

¿Existe la posibilidad de aplicar licencias de código abierto a los datos?

Deepset : empresa conocida de PNL de código abierto ya está invirtiendo en la búsqueda empresarial 'en inglés simple

Elon Musk : anuncio que el algoritmo de código abierto no lograría resolver los problemas de Twitter

¿Cuáles sería los riesgos emergentes del código abierto?