Evidently AI
Anneau : TRIAL · Domaine : QA_TESTING · Éditeur : Evidently AI, Inc.
Evidently est un framework open source pour évaluer, tester et surveiller des systèmes de machine learning et des applications fondées sur des LLM, des pipelines RAG aux agents. Il fournit plus de 100 métriques intégrées, des évaluations personnalisables combinant règles, classifieurs et juges LLM, la génération de données synthétiques, des rapports et suites de tests, et un tableau de bord de suivi continu qui détecte la dérive des données. Il s’installe avec pip install evidently (Python 3.10 ou plus) ; la dernière version relevée sur PyPI est la 0.7.23 du 11 septembre 2026. La documentation précise que Evidently Cloud n’est plus proposé en SaaS et oriente vers l’auto-hébergement de la plateforme open source.
Valeur métier
Pour les équipes data et IA qui doivent contrôler la qualité des modèles et des applications génératives avant et après la mise en production : mesure des hallucinations, des fuites de données personnelles, de la qualité de la recherche documentaire, de la toxicité et de la dérive des données. L’éditeur cite DeepL, Wise, Flo Health et Realtor.com parmi ses utilisateurs. Points de vigilance : la bibliothèque est utilisable seule, mais les tableaux de bord collaboratifs et le contrôle d’accès passent par l’offre Enterprise ; l’offre SaaS a été retirée ; plusieurs alternatives open source existent pour l’évaluation des LLM.
Valeur IA
Évalue et surveille la qualité des modèles et applications d’IA, avec des juges LLM et des métriques de dérive.
Tags : llm-evaluation, ml-monitoring, observability, data-drift, open-source, rag