Nouveau terme : SLM
2024-04-23 · Éditeur : Microsoft · Domaine : Intelligence Artificielle
Un SLM (small language model, petit modèle de langage) compte au plus quelques milliards de paramètres. Il vise les usages embarqués, hors ligne ou à faible coût, là où un grand modèle serait surdimensionné.
Ce qui change
- La course à la taille n'est plus le seul critère : la qualité des données d'entraînement devient un argument central.
- Des modèles utiles tournent sur un téléphone ou un portable, sans connexion au nuage.
- Les architectures combinent petits modèles pour les tâches simples et grands modèles pour le reste.
- Les grands éditeurs déclinent leurs modèles en versions compactes.
### Définition Un **SLM** (*small language model*, petit modèle de langage) est un modèle compact, de quelques centaines de millions à une quinzaine de milliards de paramètres. Il sacrifie une part de connaissances générales au profit du coût, de la vitesse et de la possibilité de tourner localement. ### Origine Microsoft emploie l'expression dès décembre 2023 pour Phi-2, mais c'est le lancement de Phi-3, le 23 avril 2024, qui installe le sigle. Le billet du blog Azure s'intitule « Introducing Phi-3: Redefining what's possible with SLMs » (« Phi-3 : redéfinir ce qui est possible avec les SLM ») et présente Phi-3 comme « the most capable and cost-effective small language models (SLMs) available » (« les petits modèles de langage (SLM) les plus performants et les plus économiques disponibles »). ### Ce que le terme recouvre - Phi-3-mini (3,8 milliards de paramètres), Phi-3-small (7 milliards) et Phi-3-medium (14 milliards) ; le rapport technique met en avant un modèle utilisable localement sur un téléphone. - Microsoft cite trois cas d'usage : environnements contraints (sur l'appareil, hors ligne), besoin de réponses rapides, tâches simples à coût limité. - La recette repose sur des données très filtrées et synthétiques plutôt que sur le volume brut du web. ### Critiques et limites La frontière entre « petit » et « grand » reste floue et se déplace avec le temps. Les SLM brillent sur les bancs d'essai mais restent plus limités en connaissances factuelles et sur les tâches longues ou ouvertes. ### À retenir Le sigle SLM a fait de la taille du modèle une décision d'architecture : on choisit le plus petit modèle suffisant pour la tâche.
Liens
Tags : Vocabulaire, Modèles, Embarqué, Coûts