Combien de VRAM faut-il pour faire tourner un LLM local ?
La réponse courte : assez pour contenir le fichier du modèle plus sa mémoire de travail. Un modèle typique de 8B demande environ 5 Go avec le réglage populaire à 4 bits, environ 8,5 Go en 8 bits et 16 Go sans quantification. Ce guide transforme votre carte graphique — ou votre RAM système, si vous n'avez pas de carte — en une réponse concrète pour chaque taille de modèle courante.
Dernière mise à jour : novembre 2026 · Éditeur : LibreAI · Par l'équipe de LibreAI · Chiffres calculés à partir du nombre de paramètres des modèles et des tailles publiées des fichiers GGUF — la méthode est en fin de page
À retenir
- Les poids dominent. VRAM nécessaire ≈ la taille du fichier du modèle sur le disque, plus une marge d'environ 10 à 20 % pour le cache KV et les tampons du moteur, pour des contextes de longueur conversation.
- Un modèle 8B en Q4_K_M (≈4,9 Go) est le point d'entrée : n'importe quelle carte graphique de 8 Go le fait tourner entièrement sur le GPU.
- Une carte de 24 Go (classe RTX 3090 / 4090) fait tourner un modèle 32B en Q4_K_M avec de la marge ; un modèle 70B demande 48 Go à ce réglage, ou un déchargement partiel vers la RAM.
- Pas de GPU n'est pas une impasse : le même tableau de tailles se lit en RAM système pour les exécutions CPU seul — plus lent, mais ça marche.
- gpt-oss-20b a été conçu pour les cartes de 16 Go ; gpt-oss-120b exige un GPU de classe 80 Go ou un Mac à grande mémoire.
La réponse courte
Un modèle de langage en mémoire se compose de trois parties : les poids (le fichier du modèle lui-même), le cache KV (la mémoire de travail du modèle sur votre conversation, qui grandit avec la longueur du contexte) et les tampons du moteur. En usage conversation normal, les poids représentent 80 à 95 % du total : la taille du fichier du modèle sur le disque est donc le chiffre par lequel commencer. La quantification est ce qui rend le matériel domestique viable : stocker chaque poids en environ 4 bits au lieu de 16 réduit le fichier d'environ un facteur quatre, pour un petit coût en qualité. Chaque chiffre ci-dessous est une taille réelle de fichier GGUF, ou un calcul direct à partir de l'une d'elles.
VRAM par taille de modèle et par quantification
Les poids seuls, en Go — la taille du fichier du modèle que vous téléchargez. Les mêmes chiffres valent pour la RAM système sur le chemin CPU seul. Ajoutez une marge pour le cache KV et les tampons (section suivante) avant de comparer avec votre carte.
| Taille du modèle | FP16 | Q8_0 (8 bits) | Q4_K_M (4 bits) | Q2_K (2 bits) |
|---|---|---|---|---|
| ~1B | 2,0 | 1,1 | 0,8 | 0,6 |
| ~3B | 6,4 | 3,4 | 2,0 | 1,3 |
| ~8B | 16 | 8,5 | 4,9 | 3,0 |
| ~14B | 30 | 16 | 9,0 | 5,6 |
| ~32B | 65 | 35 | 20 | 12 |
| ~70B | 141 | 75 | 43 | 26 |
| gpt-oss-20b (MoE) | — | — | ≈14 (MXFP4 natif) | — |
| gpt-oss-120b (MoE) | — | — | ≈65 (MXFP4 natif) | — |
Les modèles à mélange d'experts (MoE), comme gpt-oss, stockent tous leurs experts : le nombre total de paramètres fixe donc la taille du fichier, même si seule une partie du modèle est active pour chaque token.
Le cache KV : pourquoi la longueur du contexte mange la mémoire
Le cache KV est la mémoire que le modèle garde de tout ce qui a été dit, et il grandit linéairement avec la longueur du contexte. Un modèle 8B de conception Llama 3.1 stocke environ 0,13 Mo de cache par token en pleine précision : une conversation de 8 000 tokens ajoute donc environ 1 Go, et un contexte de 32 000 tokens environ 4 Go. Les modèles plus grands stockent davantage par token. La plupart des moteurs peuvent aussi quantifier le cache, le divisant par deux ou par quatre pour un petit coût en qualité. Règle pratique : ajoutez 1 à 2 Go au-dessus des poids pour une conversation normale, et 4 Go ou plus si vous comptez donner de longs documents au modèle.
Qu'est-ce qui tient sur votre carte graphique ?
« Tient » signifie ici que le modèle entier reste sur le GPU avec un contexte de conversation normal — la configuration rapide. Les cartes citées sont des exemples de chaque niveau (une RTX 3060 a 12 Go, une RTX 4060 a 8 Go, une RTX 4090 et une RX 7900 XTX ont 24 Go).
| Votre VRAM | La plus grande configuration complète sur GPU, à l'aise |
|---|---|
| 4–6 Go | Un modèle 3B en Q4_K_M ; un modèle 8B seulement avec des couches déchargées vers la RAM |
| 8 Go | Un modèle 8B en Q4_K_M — le point d'entrée idéal |
| 12 Go | Un modèle 8B en Q8_0, ou un modèle 14B en Q4_K_M |
| 16 Go | Un modèle 14B en Q8_0, ou gpt-oss-20b dans son MXFP4 natif |
| 24 Go | Un modèle 32B en Q4_K_M, avec de la place pour un long contexte |
| 32 Go | Un modèle 32B en Q8_0, ou un modèle 70B avec une quantification basse de classe 3 bits |
| 48 Go | Un modèle 70B en Q4_K_M, entièrement sur le GPU |
| 80 Go | gpt-oss-120b, ou un modèle 70B en Q8_0 |
Exemple détaillé : une carte de 8 Go, étape par étape
Prenons un ordinateur de bureau avec une RTX 4060 (8 Go). Téléchargez un modèle 8B en Q4_K_M : le fichier fait 4,9 Go. Chargez-le dans llama.cpp ou Ollama avec un contexte de 8 000 tokens : le cache KV ajoute environ 1 Go et les tampons quelques centaines de Mo — environ 6,3 Go au total, avec une marge confortable sur la carte. Le même modèle en Q8_0 (un fichier de 8,5 Go) ne tient pas en entier : le moteur décharge alors certaines couches vers la RAM système et la génération ralentit nettement. C'est exactement la décision pour laquelle cette page existe : choisissez la quantification qui tient, pas le plus gros fichier.
Pas de carte graphique ? Le chemin CPU seul
Tout ce qui précède se lit de la même façon en remplaçant la VRAM par la RAM système : le fichier du modèle vit alors dans la RAM. Une exécution CPU d'un modèle 8B en Q4_K_M demande les mêmes ~5 Go de RAM pour les poids, plus la place pour le système d'exploitation : 16 Go de RAM totale sont praticables, et 32 Go sont confortables et couvrent aussi un modèle 14B en Q4_K_M. La vitesse dépend de la bande passante mémoire, pas du nombre de cœurs : attendez-vous à un nombre de tokens par seconde à un chiffre avec un processeur de bureau typique sur un modèle 8B — très bien pour les résumés, les traitements par lots et le travail de nuit, poussif pour une conversation en direct. Le mode hybride partage la différence : llama.cpp et KoboldCpp peuvent garder une partie du modèle sur un petit GPU et le reste dans la RAM.
Apple Silicon : un seul bloc de mémoire
Les Mac à puces de la série M partagent un unique bloc de mémoire entre le CPU et le GPU : la colonne VRAM devient donc la mémoire totale de votre Mac, moins ce qu'il faut à macOS et à vos applications — laissez environ un quart de libre. En pratique : un Mac de 16 Go fait bien tourner un modèle 8B en Q4_K_M et un 14B en Q4_K_M de façon juste ; 32 Go font tourner un modèle 32B en Q4_K_M ; 64 Go un modèle 70B en Q4_K_M ; et un Mac de 128 Go est la configuration qui accueille gpt-oss-120b. Des applications de bureau comme Jan et GPT4All réduisent tout cela à deux clics sous macOS.
Quel moteur choisir ?
Une fois la taille fixée, le moteur décide comment le modèle est chargé. La catégorie LLM locaux du catalogue couvre le terrain ; les points de départ habituels sont llama.cpp (le moteur GGUF sur lequel la plupart des outils s'appuient, avec le contrôle le plus fin du déchargement et du cache), Ollama (des modèles en une commande, avec une API), Jan et GPT4All (des applications de bureau, douces pour le CPU), KoboldCpp (un exécutable unique pensé pour les configurations hybrides GPU/RAM), text-generation-webui (une interface web complète), WebLLM (s'exécute dans le navigateur via WebGPU, dans les limites de mémoire du navigateur) et vLLM (pour servir beaucoup d'utilisateurs à la fois — un autre compromis, le débit plutôt que l'ajustement domestique). La page de chaque projet indique ses propres exigences documentées.
Combien de VRAM faut-il pour un modèle 8B ?
Environ 5 Go en Q4_K_M, 8,5 Go en Q8_0 et 16 Go en FP16 pour les poids ; ajoutez environ 1 à 2 Go pour le cache KV et les tampons, pour des contextes de longueur conversation. Une carte graphique de 8 Go est le minimum confortable pour la version 4 bits, et la configuration domestique la plus courante.
8 Go de VRAM suffisent-ils pour faire tourner des LLM locaux ?
Oui : c'est le point d'entrée standard. Cela fait tourner les modèles 7–8B en Q4_K_M entièrement sur le GPU, et les petits modèles 1–3B en 8 bits ou en pleine précision. Cela ne suffit pas pour un modèle 14B sans décharger certaines couches vers la RAM système — ce qui fonctionne, mais plus lentement.
Quel est le plus grand modèle que je peux faire tourner avec 24 Go de VRAM ?
Un modèle 32B en Q4_K_M — environ 20 Go de poids — tient en entier, avec de la place pour un long contexte. Un modèle 70B en Q4_K_M (environ 43 Go) ne tient pas : il lui faut un déchargement partiel vers la RAM, une quantification plus basse ou un second GPU.
Puis-je faire tourner un LLM local sans GPU ?
Oui. Sur CPU, votre RAM système joue le rôle de la VRAM et le même tableau de tailles s'applique : un modèle 8B en Q4_K_M demande environ 5 Go de RAM pour ses poids. La génération est beaucoup plus lente — typiquement un nombre de tokens par seconde à un chiffre pour un modèle 8B sur un processeur de bureau — mais cela fonctionne, et les tâches par lots se moquent de l'attente.
Que signifie Q4_K_M ?
C'est un format de quantification GGUF : les poids sont stockés à environ 4 bits chacun — environ 0,6 octet par paramètre une fois les facteurs d'échelle comptés — les tenseurs les plus sensibles étant conservés à plus haute précision (le schéma « K » ; « M » est la taille moyenne). C'est l'équilibre standard entre taille de fichier et qualité des réponses pour le matériel domestique, et la colonne à laquelle la plupart des lecteurs devraient se fier.
Plus de VRAM rend-il un modèle plus rapide ?
Pas directement. La VRAM décide de ce qui tient ; la vitesse de génération vient de la bande passante mémoire et de la puissance de calcul. Un surplus de VRAM n'aide la vitesse qu'indirectement : en gardant le modèle entier, et un contexte plus long, sur le GPU au lieu de déborder dans la RAM système.
De combien de mémoire gpt-oss-120b a-t-il besoin ?
Ses poids MXFP4 font environ 65 Go : il vise donc les GPU de centre de données de classe 80 Go, ou un Mac avec 96 Go ou plus de mémoire unifiée. Son petit frère gpt-oss-20b (environ 14 Go de poids) a été conçu pour tourner sur une seule carte de 16 Go.
Comment ces chiffres sont calculés
Les tailles de fichier du tableau sont les tailles GGUF publiées de modèles représentatifs de chaque classe de taille (les familles Llama, Qwen, Mistral et Gemma), et la colonne FP16 est simplement le nombre de paramètres × 2 octets. Les tailles quantifiées suivent les octets par poids de chaque format (Q8_0 ≈ 1,06 ; Q4_K_M ≈ 0,6 ; Q2_K ≈ 0,35 octet par paramètre). Les chiffres du cache KV sont calculés à partir de l'architecture de Llama 3.1 8B : 32 couches, 8 têtes KV, des têtes de 128 dimensions. Aucune vitesse de référence n'est citée sur cette page, car la vitesse dépend de votre matériel exact, de vos pilotes et des réglages du moteur ; chaque projet du catalogue indique ses propres exigences sur sa page. Si un chiffre d'ici contredit la documentation d'un projet, c'est la documentation du projet qui a raison — dites-le-nous via la page de contact et nous corrigerons.
Voir aussi : Open-Source AI Statistics 2026, calculé à partir du même catalogue vérifié.