E6 · Mixture-of-agents (en couches)
Famille : Multi-agent
Des couches de modèles proposent des réponses ; chaque couche lit la précédente, puis un agrégateur synthétise.
Principe
Plusieurs LLM (les proposers) répondent à la même demande. La couche suivante lit leurs réponses et en produit de meilleures, couche après couche. Un agrégateur final synthétise le tout.
Le problème qu'il résout
Un seul modèle, même gros, plafonne sur certaines tâches ; combiner plusieurs modèles peut dépasser le meilleur d’entre eux.
Quand l'utiliser
- On vise la meilleure qualité possible sur une tâche ouverte, la latence compte peu, et plusieurs modèles complémentaires sont disponibles.
Quand l'éviter
- L’usage est interactif : les couches s’enchaînent, donc le premier token arrive tard.
- Le budget est serré : le coût est multiplié par le nombre de modèles et de couches.
- Les gains sont mesurés surtout sur des benchmarks de préférence jugés par un LLM : à vérifier sur ses propres tâches avant d’adopter.
Synonymes par éditeur
- Mixture-of-Agents (MoA) (Wang et al. (ICLR 2025))
Patterns voisins
Sources
- Mixture-of-Agents Enhances Large Language Model Capabilities — Wang et al., ICLR 2025, arXiv, 2024-06
Contenu relu le 2026-10-02