Olmo Hybrid (7B)

2026-03-05 · Éditeur : Ai2 · Domaine : Intelligence Artificielle

Ai2 publie Olmo Hybrid, un modèle entièrement ouvert de 7 milliards de paramètres qui alterne attention et couches Gated DeltaNet, et atteint la précision d'Olmo 3 sur MMLU avec 49 % de tokens en moins.

Ai2 publie Olmo Hybrid, un modèle entièrement ouvert de 7 milliards de paramètres qui alterne attention et couches Gated DeltaNet, et atteint la précision d'Olmo 3 sur MMLU avec 49 % de tokens en moins. ### Contexte Après Olmo 3, Ai2 teste une architecture hybride, à l'image de la tendance Mamba-Transformer d'autres éditeurs. La question est de savoir si les hybrides passent à l'échelle mieux que les Transformers purs. ### Ce que le modèle apporte - Une architecture 3 pour 1 : trois sous-couches Gated DeltaNet pour une sous-couche d'attention multi-têtes. - Sur MMLU, même précision qu'Olmo 3 avec 49 % de tokens en moins, soit environ deux fois l'efficacité en données dans des études contrôlées. - Sur le long contexte (64K), score RULER de 85,0 contre 70,9 pour Olmo 3 7B. - Une efficacité en tokens estimée à environ 1,3 fois (1 milliard de paramètres) jusqu'à 1,9 fois (70 milliards) à l'échelle, selon Ai2. - Un rapport technique sur l'expressivité théorique, les lois d'échelle et des ablations sur le ratio hybride. ### Architecture et caractéristiques 7 milliards de paramètres préentraînés sur 6 000 milliards de tokens avec des données améliorées issues d'Olmo 3 32B. Contexte étendu à 64K tokens avec DRoPE. Licence : Apache 2.0 (fiche HF d'Olmo-Hybrid-7B). Ouverture : modèles, rapport technique et données annoncés par Ai2 comme entièrement ouverts ; le détail des artefacts publiés (code, points de contrôle) n'a pas été énuméré sur la page consultée. Limites : légèrement en retrait d'Olmo 3 sur le code et les questions générales au début, écart qui se réduit après le mi-entraînement. ### Coût et accès | Élément | Détail | |---|---| | API officielle | Aucune | | Matériel | Non communiqué ; environ 15 Go en BF16 (7,43 milliards de paramètres, calcul) | | Poids | Olmo-Hybrid-7B (28 janvier 2026 sur HF), variantes Instruct SFT/DPO et Think SFT (février 2026) | ### Benchmarks | Benchmark (publié par Ai2) | Olmo Hybrid 7B | Olmo 3 7B | |---|---|---| | MMLU, tokens nécessaires pour la même précision | 51 % des tokens | 100 % | | RULER 64K | 85,0 | 70,9 | Source : billet Ai2 du 5 mars 2026, mesures Ai2 ; comparaison avec Olmo 3, modèle du même éditeur. ### Face aux modèles fermés Aucune comparaison avec un modèle fermé n'est présentée. Le jalon est architectural : Ai2 compare Olmo Hybrid à sa propre génération précédente et non à des modèles concurrents. Le score RULER 64K de 85,0 contre 70,9 montre un gain en long contexte, sans que ce soit relié à un modèle fermé. Les gains d'efficacité en tokens à grande échelle sont des estimations d'extrapolation d'Ai2 issues de lois d'échelle, non des mesures directes à 70 milliards de paramètres. Le modèle reste de petite taille (7 milliards de paramètres), ce qui limite la comparaison avec les grands modèles fermés. L'intérêt pour les entreprises est indirect : il signale que les architectures hybrides gagnent du terrain aussi dans les modèles entièrement ouverts. ### À retenir Olmo Hybrid apporte à la famille entièrement ouverte une architecture hybride plus efficace en données. C'est un signal de recherche plus qu'un modèle de production à 7 milliards de paramètres.

Tags : LLM, Open Source, Entièrement ouvert, Ai2, Olmo Hybrid, Apache 2.0, Architecture hybride