Code World Model (CWM) 32B

2025-09-24 · Éditeur : Meta · Domaine : Intelligence Artificielle

Meta FAIR publie Code World Model (CWM), un modèle dense de 32 milliards de paramètres à poids ouverts pour la recherche, entraîné à simuler l'exécution de code et à résoudre des tâches d'ingénierie logicielle.

Meta FAIR publie Code World Model (CWM), un modèle dense de 32 milliards de paramètres à poids ouverts pour la recherche, entraîné à simuler l'exécution de code et à résoudre des tâches d'ingénierie logicielle. ### Contexte Après Llama 4, Meta n'avait pas de nouveau modèle de langage généraliste. CWM est un modèle de recherche de FAIR, publié sous licence non commerciale, dans un marché où Qwen3 et Devstral dominaient les modèles ouverts de 30 B environ pour le code. Il précède le virage fermé de Meta Superintelligence Labs. ### Ce que le modèle apporte - Mi-entraînement sur des traces d'exécution d'interpréteur Python et des interactions d'agents dans des conteneurs Docker (environ 3 millions de trajectoires d'après MarkTechPost). - Post-entraînement par apprentissage par renforcement multitâche (code vérifiable, mathématiques, ingénierie logicielle multi-tours). - Publication de trois jeux de poids (pré-entraînement, SFT, après RL) pour la recherche. - Objectif : simuler pas à pas l'état des variables pour mieux planifier et corriger du code. ### Architecture et caractéristiques Transformeur dense de 32 B, décodeur seul, 64 blocs, GQA, attention alternée locale (8 192 tokens) et globale (131 072 tokens) selon un rapport 3:1, vocabulaire de 128 K. Contexte de 131 072 tokens. Langue : anglais uniquement d'après la licence. Données : environ 8 000 milliards de tokens de pré-entraînement à dominante code, puis 5 000 milliards de mi-entraînement (MarkTechPost). Licence : FAIR Non-Commercial Research License (usage commercial interdit). Poids sur Hugging Face (facebook/cwm), rapport technique arXiv 2510.02387. Exécutable sur un GPU de 80 Go avec quantification d'après la model card. ### Coût et accès | Élément | Valeur | |---|---| | API officielle | Aucune (poids seuls) | | Matériel | 1 GPU 80 Go avec quantification (model card) | | Usage commercial | Interdit par la licence | ### Benchmarks | Benchmark | CWM 32B | Qwen3-32B | Magistral-small | |---|---|---|---| | SWE-bench Verified | 53,9 (65,8 avec mise à l'échelle au test) | non communiqué | non communiqué | | LiveCodeBench v5 | 68,6 | 65,7 | 70,0 | | Math-500 | 96,6 | 97,2 | non communiqué | | AIME 2024 | 76,0 | 81,4 | 86,1 | | AIME 2025 | 68,2 | 72,9 | 77,3 | Source : model card Hugging Face facebook/cwm, scores publiés par l'éditeur ; comparaison uniquement avec des modèles ouverts. Aucun tableau comparatif avec des modèles fermés n'est publié. ### Face aux modèles fermés Meta écrit que CWM est compétitif avec des modèles ouverts de taille comparable et même avec des modèles plus grands ou fermés sur SWE-bench Verified : c'est une affirmation de l'éditeur (citée par MarkTechPost), sans tableau chiffré face aux modèles fermés dans les sources consultées. Le score de 65,8 % n'est atteint qu'avec une mise à l'échelle au moment du test, contre 53,9 % en génération directe. Sur les mathématiques, CWM reste en retrait de Qwen3-32B (AIME 2024 : 76,0 contre 81,4). La licence non commerciale exclut tout usage en production, ce qui le réserve à la recherche. Il ne change donc pas le choix ouvert ou fermé d'une entreprise, mais documente une piste technique de FAIR. ### À retenir CWM est le dernier modèle ouvert notable de Meta avant Muse Spark : un modèle de recherche solide en code, mais non exploitable commercialement.

Tags : LLM, Open Source, Meta, Code, FAIR Non-Commercial Research License, Recherche, Agents