Docker Desktop 4.40 : Docker Model Runner exécute des LLM en local

2025-04-01 · Éditeur : Docker · Domaine : Cloud & DevOps

Le 1er avril 2025, Docker Desktop 4.40 introduit Docker Model Runner en bêta : exécution locale de modèles de langage packagés en artefacts OCI, accélérée par le GPU des Mac Apple Silicon, avec une API compatible OpenAI.

### Ce qui change Le 1er avril 2025, Docker publie **Docker Desktop 4.40**, qui introduit **Docker Model Runner** en bêta. L'outil permet d'exécuter localement des modèles de langage depuis Docker Desktop, avec accélération GPU sur Apple Silicon. Les modèles sont empaquetés comme des artefacts OCI, donc stockables et versionnables avec les mêmes registres que les images de conteneurs. ### Caractéristiques - Moteur d'inférence llama.cpp, accessible par une API compatible OpenAI ; l'exécution se fait sur l'hôte Mac, pour tirer parti directement du matériel. - Modèles distribués comme artefacts OCI, avec versionnement et intégration aux chaînes CI/CD. - Feuille de route annoncée : Windows avec GPU, modèles personnalisés publiables et intégration plus fine à la boucle de développement. - L'agent Gordon (Docker AI Agent) prend en charge le protocole MCP, comme client et comme serveur, et exécute commandes shell, opérations Git et gestion de fichiers. - Une extension de catalogue d'outils IA permet de parcourir et connecter des serveurs MCP conteneurisés publiés sur Docker Hub. ### Pourquoi c'est important Docker place l'exécution de modèles dans le flux de travail de conteneurs déjà maîtrisé par les développeurs, ce qui facilite les prototypes d'IA générative sans service externe. Pour une ESN, l'intérêt est la reproductibilité : les modèles se versionnent comme des images. Les limites de l'époque sont nettes : bêta, Mac Apple Silicon d'abord, et un usage local qui ne remplace pas un service d'inférence en production. La version ajoute aussi, pour les offres Docker Business, un suivi en temps réel de la conformité aux politiques de paramètres de Docker Desktop. ### À retenir Docker traite désormais un modèle comme un artefact OCI : l'IA locale entre dans le flux Docker.

Tags : Conteneurs, IA, MCP, Cloud natif