LiteLLM

Anneau : ASSESS · Domaine : OPS_INFRA · Éditeur : BerriAI (Berri AI)

SDK Python et passerelle IA (proxy) auto-hébergée qui exposent plus de 100 fournisseurs de LLM au format OpenAI : mêmes réponses, exceptions mappées sur celles d'OpenAI, Router avec reprises, repli (fallbacks) et répartition de charge. Le proxy ajoute clés virtuelles avec budgets par clé, équipe ou utilisateur, suivi des dépenses, journalisation centralisée, garde-fous (filtrage de contenu, masquage de PII), cache et interface d'administration, ainsi qu'une passerelle d'agents A2A et de serveurs MCP avec contrôle d'accès par clé. Un paquet litellm-core (SDK seul) existe. Dernière version : v1.105.0 (11 octobre 2026) ; images Docker signées avec cosign depuis v1.83.0-nightly.

Valeur métier

Fournit un point d'entrée unique pour consommer plusieurs modèles de langage, avec contrôle des coûts par équipe et limites d'usage. Évite de réécrire les applications à chaque changement de fournisseur et donne à la DSI une vue centralisée de la consommation. Point d'attention : un incident de chaîne d'approvisionnement a touché le paquet PyPI en mars 2026.

Valeur IA

Unifie l'accès aux LLM et maîtrise leur coût derrière une seule API compatible OpenAI.

Tags : gateway, proxy, llm, multi-provider, finops, mcp, a2a, open-source, supply-chain

https://www.litellm.ai