llama.cpp
Anneau : ASSESS · Domaine : OPS_INFRA · Éditeur : ggml-org (équipe ggml, rejointe Hugging Face en 2026)
Moteur d'inférence LLM en C/C++ pur, sans dépendance, construit sur la bibliothèque ggml. Quantification entière de 1,5 à 8 bits, inférence hybride CPU+GPU pour les modèles plus gros que la VRAM, serveur compatible API OpenAI (llama-server) avec interface web intégrée, grammaires GBNF, scripts de conversion vers GGUF. Backends : Metal et Accelerate (Apple Silicon), CUDA, HIP (AMD), MUSA, Vulkan, SYCL (Intel), CANN (NPU Ascend), OpenCL (Adreno), Hexagon (Snapdragon), WebGPU, ZenDNN, OpenVINO (en cours) ; AVX, AVX2, AVX512, AMX sur x86 et RISC-V.
Valeur métier
Brique de base de l'IA locale : elle permet de faire tourner des modèles ouverts sur un poste, un serveur on-premise ou un cloud souverain, sans envoyer de données à un fournisseur d'API. Wikipédia la décrit comme le standard de fait derrière la plupart des outils d'inférence locale, dont Ollama et LM Studio. Pertinente pour les clients aux données sensibles ou aux budgets GPU limités.
Valeur IA
Exécute localement des LLM ouverts quantifiés sur à peu près tout matériel, avec une API compatible OpenAI.
Tags : inference, llm, local-ai, gguf, quantization, open-source, cpp, gpu, openai-api