LLM locaux
FastChat
An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.
★ 39,6 k étoilesApache-2.0
Voir le guide →LibreAI / LLM locaux / llm
// local-llm · simonw/llm
llm
llm est un projet de LLM locaux open source, créé par simonw (simonw/llm sur GitHub). Il compte 12 583 étoiles sur GitHub et 1 014 forks, il est publié sous la licence Apache-2.0 et a été mis à jour pour la dernière fois sur GitHub le 22 septembre 2026.
Access large language models from the command-line
★ 12,6 k étoiles⑂ 1,0 k forksApache-2.0mis à jour sept. 2026
▦ visuel — le README de ce projet ne contient aucune capture intégrable,
voici donc un emplacement réservé. Le guide ci-dessous est complet malgré tout.
voici donc un emplacement réservé. Le guide ci-dessous est complet malgré tout.
// détails du projet
Détails du projet
- Dépôt
- simonw/llm
- Étoiles GitHub
- 12 583
- Forks
- 1 014
- Licence
- Apache-2.0
- Dernière mise à jour sur GitHub
- 22 septembre 2026
- Catégorie
- LLM locaux
- Type de fiche
- Guide d'installation complet
- Site officiel
- Official site
// fonctionnement
Comment ça marche
- Install the runtime
One binary or app gets you a working local model setup.
- Download a model
Pick a size that fits your RAM/VRAM; smaller models run on laptops.
- Chat or integrate
Use the built-in UI, or point OpenAI-compatible clients at it.
- Go private
Airplane mode works — your prompts never leave the device.
// fonctionnalités
Pourquoi on l'adore
OpenAI-compatible APIs
Existing tools plug in by changing one URL.
Document chat
Ask questions over your PDFs, notes, and codebases.
No subscriptions
Pay nothing per token, ever.
100% private
Prompts and documents stay on your hardware, always.
Extensible
RAG, tools, and agents build on the same base.
Quantized efficiency
Smart compression runs big models on modest hardware.
Advertisement
// lancez-le
Lancez-le vous-même
- Step 1 — Clone the repo
Download the source and move into the project folder.
git clone https://github.com/simonw/llm.git cd llm - Step 2 — Check the README
Every project documents its own setup; start with install requirements.
cat README.md | head -60 - Step 3 — Run it
Follow the project's launch command — Docker, pip, npm, or a binary release.
# see README for the exact launch command
// cas d'usage
Ce que vous pouvez créer
- Chat privately with your documents.
- Draft and edit without cloud AI.
- Run AI on air-gapped machines.
- Prototype AI features for free.
Advertisement
// faq
Questions fréquentes
Who maintains llm?
It is an open-source project at simonw/llm with 1,014 forks. Check the repo's contributors and recent commits to see how active maintenance is.
Is llm free for commercial use?
Apache 2.0 licensed — commercial use allowed with attribution.
What hardware do I need?
8B models run on 16GB RAM; bigger models want a real GPU.
Which model should I start with?
A recent 8–32B instruct model is the sweet spot for most machines.
Is it really private?
Yes — with no network calls, there's nothing to leak.
// continuez l'exploration
Outils similaires
LLM locaux
assistant-ui
Typescript/React Library for AI Chat 💬🚀
★ 12,4 k étoilesMIT
Voir le guide →LLM locaux
atomic-agent
Atomic Agent is a local-first AI agent. Runs open-weight models on your own machine via llama.cpp.
★ 2,7 k étoilesMIT
Voir le guide →LLM locaux
BitNet
BitNet — Microsoft's official inference framework for 1-bit large language models, running fast on ordinary CPUs, MIT
★ 41,2 k étoilesMIT
Voir le guide →LLM locaux
GPT-OSS
GPT-OSS — OpenAI open-weight language models: gpt-oss-120b for production reasoning and gpt-oss-20b for local use, Apache-2.0
★ 20,5 k étoilesApache-2.0
Voir le guide →LLM locaux
gemma
Google DeepMind's Gemma open-weight LLM library — install, load and chat with Gemma models in Python.
★ 5,8 k étoilesApache-2.0
Voir le guide →// alternatives
Alternatives en LLM locaux
Les autres projets de la catégorie LLM locaux avec le plus d'étoiles du catalogue LibreAI — la sélection réaliste d'alternatives si llm ne vous convient pas.
- Ollama★ 182,1 k
The simplest way to run open language models on your own machine.
- Open Webui★ 153,9 k
User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
- llama.cpp★ 130,2 k
LLM inference in C/C++
- vLLM★ 93,1 k
A high-throughput and memory-efficient inference and serving engine for LLMs
- lobehub★ 83,0 k
🤯 LobeHub is your Chief Agent Operator, organizing your agents into 7×24 operations by hiring, scheduling, and reporting on your entire AI team.
// plus en local-llm
Plus en LLM locaux
Projets de la catégorie LLM locaux proches dans le catalogue, les plus proches en étoiles de llm — continuez à explorer de part et d'autre.
- ChatGLM2-6B★ 15,5 k
Open bilingual (Chinese-English) 6B chat LLM with 32K-context variant and low-memory INT4 inference.
- assistant-ui★ 12,4 k
Typescript/React Library for AI Chat 💬🚀
- nano-vllm★ 15,7 k
A lightweight vLLM implementation built from scratch in about 1,200 readable lines of Python.
- Koboldcpp★ 11,9 k
KoboldCpp - Run GGUF AI models locally with a KoboldAI UI. One File. Zero Install
- MNN★ 16,2 k
Alibaba's lightweight, blazing-fast inference engine for on-device LLMs and edge AI.
- Soup★ 8,1 k
Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.
Obtenir llm
Gratuit et ouvert : récupérez le code source, mettez une étoile au dépôt et commencez à créer.