Databricks ouvre le code d'Unity Catalog

2024-06-13 · Éditeur : Databricks · Domaine : Cloud & DevOps

Databricks publie Unity Catalog en open source (licence Apache 2.0, hébergé par LF AI & Data) : un catalogue de gouvernance des données et de l'IA compatible avec les API Hive et Iceberg REST.

### Ce qui change Le 13 juin 2024, lors de son Data + AI Summit, **Databricks** publie en open source **Unity Catalog**, qu'elle présente comme « le premier catalogue open source de gouvernance des données et de l'IA multicloud, multiformat et multiplateforme » (formule de l'éditeur). Le code est sous licence **Apache 2.0** et hébergé par la fondation LF AI & Data, filiale de la Linux Foundation. ### Caractéristiques - Construit sur une spécification OpenAPI, compatible avec le metastore Apache Hive et l'API REST du catalogue Apache Iceberg. - Prend en charge les formats Delta Lake, Iceberg (via UniForm), Parquet, CSV et JSON. - La version 0.1 gère des tables, des volumes (données non structurées) et des fonctions ou outils d'IA, avec distribution d'identifiants pour une gouvernance centralisée. - Partenaires cités : AWS, Microsoft Azure, Google Cloud, NVIDIA, Salesforce, DuckDB, LangChain, dbt Labs, Fivetran, Confluent, Informatica, entre autres. - Les clients Databricks n'ont rien à changer ; les clients externes accèdent aux tables via des API REST ouvertes, sans frais d'accès externe. ### Pourquoi c'est important La gouvernance (qui voit quoi, quelle donnée alimente quel modèle) devient la couche où se joue le verrouillage, après le format de table. En ouvrant son catalogue, Databricks répond à Snowflake, qui avait annoncé Polaris dix jours plus tôt. Pour les DSI, le sujet est la portabilité : un catalogue ouvert et des API standard permettent de changer de moteur de calcul sans refaire la gouvernance. ### À retenir Après le format de table, le catalogue devient un terrain d'ouverture, sous la pression de la concurrence entre Databricks et Snowflake.

Tags : Données, Open Source, Licence, États-Unis