Avec Polaris Catalog, les utilisateurs bénéficient d’une interopérabilité complète et ouverte.
Snowflake annonce lors du Snowflake Summit 2024, le lancement de Polaris Catalog, un catalogue ouvert et neutre vis à vis des fournisseurs pour Apache Iceberg, le standard ouvert pour la mise en œuvre de data lakehouses, de datalakes et d’autres architectures modernes. Polaris Catalog sera mis en open source dans les 90 prochains jours pour offrir aux entreprises et à l’ensemble de la communauté Iceberg de nouveaux niveaux de choix, de flexibilité et de contrôle sur leurs données, avec une sécurité d’entreprise complète et une interopérabilité d’Apache Iceberg avec Amazon Web Services (AWS), Confluent, Dremio, Google Cloud, Microsoft Azure, Salesforce, etc.
“Les entreprises veulent un stockage ouvert et des moteurs de requête interopérables sans blocage. Aujourd’hui, avec le soutien des leaders de l’industrie, nous simplifions encore la façon dont toute organisation peut facilement accéder à ses données à travers divers systèmes avec une flexibilité et un contrôle accrus”, déclare Christian Kleinerman, EVP of Product, Snowflake. “Polaris Catalog prolonge l’engagement de Snowflake envers Apache Iceberg en tant que standard ouvert de choix, et signale l’intention des leaders de l’industrie de permettre aux clients et à la communauté Iceberg au sens large d’exploiter leurs données par le biais d’une approche ouverte et neutre, favorisant l’interopérabilité entre les moteurs sur ces données.”
Apache Iceberg a gagné en popularité depuis qu’il est passé du stade de l’incubation à celui de projet de la Apache Software Foundation en mai 2020, pour devenir l’un des principaux formats de tables de données open source. Avec Polaris Catalog, les utilisateurs disposent désormais d’un endroit unique et centralisé où n’importe quel moteur peut trouver et accéder aux tables Iceberg d’une organisation avec une interopérabilité complète et ouverte. Polaris Catalog s’appuie sur le protocole REST open source d’Iceberg, qui fournit un standard ouvert permettant aux utilisateurs d’accéder et de récupérer des données à partir de n’importe quel moteur prenant en charge l’API Rest d’Iceberg, notamment Apache Flink, Apache Spark, Dremio, Python, Trino et bien d’autres.
Les organisations peuvent commencer à exécuter Polaris Catalog, hébergé dans le Data Cloud IA de Snowflake en quelques minutes, hébergé dans Snowflake en avant-première publique bientôt, ou l’auto-héberger dans leur propre infrastructure à l’aide de conteneurs tels que Docker ou Kubernetes. Comme l’implémentation du backend de Polaris Catalog sera open source, les organisations peuvent librement échanger l’infrastructure d’hébergement tout en éliminant le verrouillage du fournisseur.
Une partie de ce qui rend Apache Iceberg si puissant est sa communauté vibrante de divers adoptants, contributeurs et offres commerciales. Pour s’assurer que Polaris Catalog puisse répondre aux besoins évolutifs de la communauté et du paysage, Snowflake collabore avec l’écosystème Iceberg pour faire avancer le projet.
Cela fait suite à la récente extension du partenariat entre Snowflake et Microsoft, qui crée une interopérabilité plus transparente entre Snowflake et Fabric. Cette interopérabilité est possible grâce à l’engagement de Snowflake et de Microsoft à soutenir les principaux standards ouverts de l’industrie pour les formats de stockage, Apache Iceberg et Apache Parquet. Avec Polaris Catalog, les deux organisations poursuivent leur partenariat avec pour mission commune de permettre à tous les utilisateurs d’exploiter leurs données d’entreprise, quel que soit l’endroit où elles sont stockées, pour créer des applications à l’échelle alimentées par l’intelligence artificielle.
Grâce à l’expertise de Snowflake, qui sert de base de données alimentant les données cross-cloud et les charges de travail d’IA de milliers de clients mondiaux, et à l’innovation et aux compétences open source de la communauté Iceberg en pleine croissance, ils continueront à simplifier l’interopérabilité des données à travers les moteurs ensemble.
Polaris Catalog fait suite à une série d’engagements récents de Snowflake en matière d’open source, notamment ses investissements dans Iceberg Tables, qui permettent aux clients de Snowflake de travailler avec des données dans leur propre stockage au format Apache Iceberg, tout en bénéficiant de la facilité d’utilisation, de la performance et de la gouvernance unifiée de Snowflake.
En outre, Snowflake soutient la communauté open source Streamlit, qui compte désormais plus de 275 000 développeurs actifs mensuels et plus de 6 millions de consultations mensuelles d’applications. Depuis que Snowflake a acquis Streamlit en mars 2022, la communauté open source a continué de prospérer, augmentant de plus de 500 % au cours des deux dernières années, alors que Snowflake et Streamlit continuent d’investir dans des avancées open source de pointe pour les développeurs.
Pour rappel, Snowflake a annoncé il y a quelques mois, Snowflake Arctic, l’un des grands LLM de niveau entreprise le plus ouvert du marché. Dans le cadre de son engagement en faveur de l’open source, Snowflake a non seulement publié les poids d’Arctic sous une licence Apache 2.0, mais aussi des détails sur la manière dont il a été entraîné.
