Qwen2.5-VL

2025-01-26 · Éditeur : Alibaba · Domaine : Intelligence Artificielle

Alibaba Qwen publie Qwen2.5-VL en trois tailles (3B, 7B, 72B) : un modèle vision-langage à poids ouverts capable d'agir comme agent visuel, de comprendre des vidéos d'une heure et de produire des sorties structurées.

Alibaba Qwen publie Qwen2.5-VL en trois tailles (3B, 7B, 72B) : un modèle vision-langage à poids ouverts capable d'agir comme agent visuel, de comprendre des vidéos d'une heure et de produire des sorties structurées. ### Contexte Qwen2-VL (août 2024) avait posé les bases de la famille vision-langage de Qwen. En janvier 2025, la comparaison se fait avec GPT-4o, Claude 3.5 Sonnet et Gemini 2.0 Flash, que la fiche modèle du 72B utilise comme références. ### Ce que le modèle apporte - Reconnaissance visuelle élargie (objets, lieux, personnages de films et séries, produits) et analyse de textes, graphiques, icônes et mises en page. - Rôle d'agent visuel : le modèle raisonne et pilote des outils, avec des capacités d'usage d'ordinateur et de téléphone. - Compréhension de vidéos de plus d'une heure, avec localisation des segments pertinents. - Localisation par boîtes englobantes ou points, avec sorties JSON stables pour coordonnées et attributs. - Sorties structurées pour factures, formulaires et tableaux, utiles en finance et commerce. ### Architecture et caractéristiques Trois tailles : 3B, 7B et 72B, en versions de base et Instruct. Licences déclarées sur Hugging Face : Apache 2.0 pour le 7B, licence « Qwen Research » pour le 3B et licence « Qwen » pour le 72B (usage commercial à vérifier dans le texte de la licence). Modalités : texte, images, vidéo. Longueur de contexte, langues et date de coupure : non vérifiées dans les sources consultées. Poids sur Hugging Face et ModelScope. ### Coût et accès Poids téléchargeables ; démonstration sur Qwen Chat. Tarif d'API de l'éditeur et matériel requis : non vérifiés pour cette fiche. ### Benchmarks Extrait de la fiche modèle Hugging Face du 72B (scores publiés par l'éditeur, comparaison avec modèles fermés). | Benchmark | GPT-4o | Claude 3.5 Sonnet | Gemini 2.0 Flash | Qwen2.5-VL-72B | |---|---|---|---|---| | MMMU (val) | 70,3 | 70,4 | 70,7 | 70,2 | | MathVista (mini) | 63,8 | 65,4 | 73,1 | 74,8 | | MathVision | 30,4 | 38,3 | 41,3 | 38,1 | | DocVQA (val) | 91,1 | 95,2 | 92,1 | 96,4 | | ChartQA | 86,7 | 90,8 | 85,2 | 89,5 | | OCRBench | 736 | 788 | non publié | 885 | | VideoMME sans sous-titres | 71,9 | non publié | non publié | 73,3 | Source : fiche Hugging Face Qwen2.5-VL-72B-Instruct, mesures de l'éditeur ; le tableau vidéo compare aussi Gemini 1.5 Pro (75,0 sur VideoMME sans sous-titres). ### Face aux modèles fermés Sur la compréhension de documents, le 72B affiche 96,4 sur DocVQA contre 95,2 pour Claude 3.5 Sonnet et 91,1 pour GPT-4o, et 885 sur OCRBench contre 788 et 736. Sur MMMU, il est au même niveau (70,2 contre 70,3 à 70,7). En revanche, sur MathVision, Gemini 2.0 Flash (41,3) et Claude 3.5 Sonnet (38,3) dépassent ou égalent le modèle ouvert (38,1). Sur les tâches d'agent d'ordinateur, l'éditeur publie un score OSWorld de 8,83 contre 14,90 pour Claude, donc en retrait. L'éditeur annonce aussi que le 7B dépasse GPT-4o-mini sur plusieurs tâches. L'écart de prix avec les API fermées n'est pas établi ici ; l'intérêt principal est l'auto-hébergement de documents sensibles. ### À retenir Qwen2.5-VL place un modèle ouvert au niveau des meilleurs modèles fermés de janvier 2025 sur la lecture de documents et de graphiques. Les licences varient selon la taille : vérifier celle du 72B avant tout usage commercial.

Tags : LLM, Open Source, Alibaba, Qwen, Vision, Apache 2.0, Multimodal