Mixtral 8x7B

2024-01-08 · Éditeur : Mistral AI · Domaine : Intelligence Artificielle

Mistral AI lance Mixtral 8x7B, un modèle Mixture of Experts open-source qui rivalise avec GPT-3.5. Ce modèle utilise une architecture innovante permettant d'activer seulement 2 experts sur 8 pour chaque token, optimisant ainsi les performances et l'efficacité.

Mistral AI lance Mixtral 8x7B, un modèle Mixture of Experts open-source qui rivalise avec GPT-3.5. Ce modèle utilise une architecture innovante permettant d'activer seulement 2 experts sur 8 pour chaque token, optimisant ainsi les performances et l'efficacité.

Tags : LLM, Open Source, MoE, Mistral