T5Gemma

2025-07-09 · Éditeur : Google · Domaine : Intelligence Artificielle

Google publie T5Gemma, une collection de modèles encodeur-décodeur obtenus en convertissant des modèles Gemma 2 décodeur seul, avec des combinaisons de tailles déséquilibrées comme un encodeur 9B et un décodeur 2B.

Google publie T5Gemma, une collection de modèles encodeur-décodeur obtenus en convertissant des modèles Gemma 2 décodeur seul, avec des combinaisons de tailles déséquilibrées comme un encodeur 9B et un décodeur 2B. ### Ce qui change - Technique d'adaptation : les poids d'un modèle décodeur seul initialisent un modèle encodeur-décodeur, ensuite pré-entraîné (UL2 ou PrefixLM). - Basé sur Gemma 2 (2B et 9B adaptés) et sur de nouveaux modèles de taille T5 (Small, Base, Large, XL). - Combinaisons déséquilibrées possibles, par exemple encodeur 9B et décodeur 2B, adaptées à la synthèse. - Performances comparables ou meilleures que les équivalents décodeur seul sur plusieurs benchmarks (dont SuperGLUE), avec un bon rendement qualité-inférence. ### Caractéristiques - Versions pré-entraînées et ajustées aux instructions publiées. - Modèles ouverts, disponibles pour la recherche et les développeurs. ### Tarifs Modèles ouverts, sans tarif d'usage propre. ### Benchmarks Le billet indique des performances comparables ou supérieures aux modèles décodeur seul sans reprendre de score précis dans le texte. ### À retenir Renouvelle l'architecture encodeur-décodeur, utile pour la synthèse et la traduction, avec des modèles de taille réduite.

Tags : Open Source, LLM, Google, Gemma, Encodeur-décodeur