Snowflake présente Polaris Catalog, un catalogue ouvert pour Apache Iceberg

2024-06-03 · Éditeur : Snowflake · Domaine : Cloud & DevOps

Au Data Cloud Summit, Snowflake présente Polaris Catalog, un catalogue neutre fondé sur l'API REST d'Apache Iceberg, hébergeable chez Snowflake ou auto-hébergé. Le code sera publié en open source dans les 90 jours.

### Ce qui change Le 3 juin 2024, **Snowflake** présente **Polaris Catalog**, un catalogue conçu pour renforcer l'interopérabilité des tables **Apache Iceberg** entre plusieurs moteurs de traitement. Il met en œuvre la spécification **REST** ouverte d'Iceberg. Snowflake annonce que le code sera **publié en open source dans les 90 jours** et disponible « bientôt » en préversion publique sur son infrastructure. ### Caractéristiques - Neutralité : le catalogue peut être hébergé sur l'infrastructure managée de Snowflake ou auto-hébergé (Docker, Kubernetes), et l'infrastructure peut être changée sans contrainte de fournisseur. - Moteurs et outils pris en charge : Apache Doris, Flink, Spark, PyIceberg, StarRocks, Trino ; partenaires cités : Confluent, Dremio, Salesforce ; clouds : AWS, Google Cloud, Microsoft Azure. - Intégration avec Snowflake Horizon pour la gouvernance : masquage de colonnes, politiques d'accès aux lignes, étiquettes d'objets et partage de tables Iceberg. - Suite : le 30 juillet 2024, Snowflake publie le code sous licence Apache 2.0 sur GitHub ; le service fondé sur Snowflake entre en préversion publique ; Dremio s'engage à y verser les fonctions de Project Nessie (versionnement de type Git, transactions multi-tables). ### Pourquoi c'est important Le catalogue de tables est le point de contrôle qui décide quels moteurs lisent quelles données. En proposant un catalogue ouvert, Snowflake répond à l'offensive de Databricks sur Iceberg (rachat de Tabular le lendemain) et se place comme un acteur du format ouvert, plutôt qu'un entrepôt fermé. Pour les architectes, l'intérêt est la possibilité de garder un catalogue indépendant du moteur de calcul. ### À retenir Polaris Catalog fait du catalogue Iceberg un terrain d'ouverture, au moment où Databricks rachète Tabular.

Tags : Données, Open Source, Licence