garak
Anneau : ASSESS · Domaine : CYBERSECURITY · Éditeur : NVIDIA
garak est un scanner de vulnérabilités pour LLM en ligne de commande, distribué sous Apache 2.0. Il lance des sondes (probes) couvrant les hallucinations, les fuites de données, l'injection de prompt et les jailbreaks, puis évalue chaque réponse avec des détecteurs ; des générateurs le connectent à des modèles hébergés ou locaux (Hugging Face, OpenAI, AWS Bedrock, endpoints REST, GGUF). La version 0.17.0 est annoncée le 10 septembre 2026 ; le test indépendant d'août 2026 porte sur la version 0.15.1, avec 189 sondes et 117 détecteurs.
Valeur métier
Destiné aux équipes sécurité et aux développeurs qui veulent tester un modèle ou une application LLM avant mise en production, ou intégrer ces tests à une chaîne d'intégration continue. Limites relevées par un test indépendant : les détecteurs reposent sur des mots-clés et des classifieurs, ce qui produit des faux positifs ; les tests sont monotours ; un scan complet prend plusieurs heures ; les scores ne sont pas un benchmark et ne se comparent pas dans le temps.
Valeur IA
Automatise la recherche de failles connues sur des LLM à partir de sondes et de détecteurs versionnés.
Tags : llm-security, red-teaming, vulnerability-scanner, prompt-injection, jailbreak