VaultGemma

2025-09-12 · Éditeur : Google · Domaine : Intelligence Artificielle

Google Research et DeepMind publient VaultGemma, un modèle ouvert d'un milliard de paramètres, le plus grand pré-entraîné à partir de zéro avec confidentialité différentielle, et des lois d'échelle associées.

Google Research et DeepMind publient VaultGemma, un modèle ouvert d'un milliard de paramètres, le plus grand pré-entraîné à partir de zéro avec confidentialité différentielle, et des lois d'échelle associées. ### Ce qui change - Plus grand modèle ouvert entièrement pré-entraîné avec confidentialité différentielle (1 milliard de paramètres, basé sur l'architecture Gemma 2). - Garantie de confidentialité au niveau de la séquence : epsilon inférieur ou égal à 2,0 et delta inférieur ou égal à 1,1e-10 (séquences de 1 024 tokens). - Aucune mémorisation détectable des données d'entraînement dans les tests (préfixe de 50 tokens). - Lois d'échelle pour modéliser les compromis calcul, confidentialité et utilité. ### Caractéristiques - Taille : 1 milliard de paramètres. Poids publiés sur Hugging Face. - Utilité comparable à celle de modèles non privés d'environ cinq ans plus anciens (comparaison avec GPT-2 1,5B). ### Tarifs Modèle ouvert, sans tarif d'usage propre. ### Benchmarks Comparaison avec Gemma 3 1B (non privé) et GPT-2 1,5B sur HellaSwag, BoolQ, PIQA, SocialIQA, TriviaQA, ARC-C et ARC-E (résultats en graphique, non chiffrés dans le texte). ### À retenir Un point de référence pour les organisations sensibles à la confidentialité : la protection a un coût mesurable en qualité.

Tags : Open Source, LLM, Google, Gemma, Confidentialité