ローカルLLMの実行に必要なVRAMは何GB?
短い答えは、モデルファイルとその作業メモリが収まる容量です。典型的な8Bモデルなら、人気の4ビット設定で約5GB、8ビットで約8.5GB、量子化なしで16GBが必要です。このガイドでは、あなたのグラフィックカード — カードがない場合はシステムRAM — を、よく使われるモデルサイズごとの具体的な答えに換算します。
最終更新:2026年11月 · 発行:LibreAI · LibreAIチーム著 · 数値はモデルのパラメータ数と公開されているGGUFファイルサイズから算出 — 算出方法は本ページ末尾
要点
- 重みが支配的です。必要なVRAM ≈ ディスク上のモデルファイルのサイズ + チャット程度のコンテキスト長におけるKVキャッシュとランタイムバッファのための約10〜20%の余裕。
- Q4_K_Mの8Bモデル(≈4.9GB)が入口です — 8GBのグラフィックカードならどれでもGPUだけで完全に動作します。
- 24GBのカード(RTX 3090 / 4090クラス)なら32BモデルをQ4_K_Mで余裕を持って動かせます。70Bモデルはこの設定で48GBが必要、またはRAMへの部分オフロードが必要です。
- GPUがなくても行き止まりではありません。同じサイズ表をシステムRAMとして読めば、CPUのみの実行にも使えます。遅くはなりますが、動作します。
- gpt-oss-20bは16GBのカード向けに作られ、gpt-oss-120bには80GBクラスのGPUか大容量メモリのMacが必要です。
短い答え
メモリ上の言語モデルは3つの部分からなります。重み(モデルファイルそのもの)、KVキャッシュ(会話に対するモデルの作業メモリで、コンテキスト長とともに増えます)、そしてランタイムバッファです。通常のチャット利用では重みが全体の80〜95%を占めるため、出発点になる数字はディスク上のモデルファイルのサイズです。量子化こそが家庭用ハードウェアを実用的にします。各重みを16ビットではなく約4ビットで保存することで、ファイルは約4分の1に縮み、品質の低下はわずかです。以下の数値はすべて実際のGGUFファイルサイズ、またはそこからの直接の計算です。
モデルサイズと量子化ごとのVRAM
重みのみ、単位はGB — ダウンロードするモデルファイルのサイズです。CPUのみの実行では、同じ数値がシステムRAMにそのまま当てはまります。お使いのカードと比較する前に、KVキャッシュとバッファの余裕(次のセクション)を加えてください。
| モデルサイズ | FP16 | Q8_0(8ビット) | Q4_K_M(4ビット) | Q2_K(2ビット) |
|---|---|---|---|---|
| ~1B | 2.0 | 1.1 | 0.8 | 0.6 |
| ~3B | 6.4 | 3.4 | 2.0 | 1.3 |
| ~8B | 16 | 8.5 | 4.9 | 3.0 |
| ~14B | 30 | 16 | 9.0 | 5.6 |
| ~32B | 65 | 35 | 20 | 12 |
| ~70B | 141 | 75 | 43 | 26 |
| gpt-oss-20b(MoE) | — | — | ≈14(ネイティブMXFP4) | — |
| gpt-oss-120b(MoE) | — | — | ≈65(ネイティブMXFP4) | — |
gpt-ossのようなMixture-of-Experts(MoE)モデルはすべてのエキスパートを保存するため、各トークンで有効になるのがモデルの一部でも、総パラメータ数がファイルサイズを決めます。
KVキャッシュ:コンテキスト長がメモリを食う理由
KVキャッシュは、それまでに話されたすべてについてのモデルの記憶であり、コンテキスト長に比例して増えます。Llama 3.1設計の8Bモデルは、フル精度で1トークンあたり約0.13MBのキャッシュを保存します。つまり8,000トークンの会話で約1GBが加わり、32,000トークンのコンテキストでは約4GBになります。大きなモデルほど1トークンあたりの保存量も増えます。ほとんどのランタイムはキャッシュ自体も量子化でき、品質の低下をわずかに抑えながら半分や4分の1にできます。実用的な目安:通常のチャットでは重みに1〜2GBを上乗せし、長い文書をモデルに読ませる予定なら4GB以上を上乗せしてください。
あなたのグラフィックカードで動くのは?
ここでの「動く」は、通常のチャットコンテキストでモデル全体がGPU上に残ること — つまり高速な構成 — を意味します。挙げたカードは各階層の例です(RTX 3060は12GB、RTX 4060は8GB、RTX 4090とRX 7900 XTXは24GB)。
| あなたのVRAM | GPUだけで快適に動く最大の構成 |
|---|---|
| 4〜6GB | Q4_K_Mの3Bモデル。8BモデルはレイヤーをRAMへオフロードした場合のみ |
| 8GB | Q4_K_Mの8Bモデル — 入門の最適点 |
| 12GB | Q8_0の8Bモデル、またはQ4_K_Mの14Bモデル |
| 16GB | Q8_0の14Bモデル、またはネイティブMXFP4のgpt-oss-20b |
| 24GB | Q4_K_Mの32Bモデル。長いコンテキストの余裕付き |
| 32GB | Q8_0の32Bモデル、または3ビット級の低量子化の70Bモデル |
| 48GB | Q4_K_Mの70BモデルをGPUだけで完全に |
| 80GB | gpt-oss-120b、またはQ8_0の70Bモデル |
実例:8GBのカードを順を追って
RTX 4060(8GB)を搭載したデスクトップを例にします。Q4_K_Mの8Bモデルをダウンロードすると、ファイルは4.9GBです。llama.cppかOllamaで8,000トークンのコンテキストで読み込むと、KVキャッシュが約1GB、バッファが数百MB加わり、合計は約6.3GBで、カードには快適な余裕が残ります。同じモデルでもQ8_0(8.5GBのファイル)では完全には収まらず、ランタイムが一部のレイヤーをシステムRAMへオフロードするため、生成は目に見えて遅くなります。これこそがこのページの存在理由である判断そのものです。最大のファイルではなく、収まる量子化を選んでください。
グラフィックカードがない? CPUのみの道
ここまでの内容は、VRAMをシステムRAMに読み替えればそのまま成り立ちます。モデルファイルがRAMに置かれるだけです。Q4_K_Mの8BモデルをCPUで動かすには、重みに同じ約5GBのRAMが必要で、さらにOSの分も要ります。合計16GBのRAMで実用的に動き、32GBなら快適で、Q4_K_Mの14Bモデルまでカバーできます。速度を決めるのはコア数ではなくメモリ帯域幅です。一般的なデスクトップCPUで8Bモデルを動かすと毎秒1桁のトークン数が目安で、要約やバッチ処理、夜間の作業には十分ですが、ライブチャットにはもたつきます。ハイブリッド方式はその中間です。llama.cppとKoboldCppは、モデルの一部を小さなGPUに、残りをRAMに置けます。
Apple Silicon:ひとつのメモリプール
Mシリーズチップ搭載のMacは、CPUとGPUでひとつのメモリプールを共有します。そのためVRAMの列は、Macの総メモリからmacOSとアプリが必要とする分を引いたものになります — 約4分の1は空けておいてください。実際には、16GBのMacはQ4_K_Mの8Bモデルをよく動かし、Q4_K_Mの14Bモデルはぎりぎりです。32GBでQ4_K_Mの32Bモデル、64GBでQ4_K_Mの70Bモデルが動き、128GBのMacがgpt-oss-120bを収められる構成です。JanやGPT4Allのようなデスクトップアプリなら、macOSでの設定は2クリックで済みます。
どのランタイムを使うべき?
サイズが決まれば、モデルをどう読み込むかはランタイムが決めます。カタログのローカルLLMカテゴリがこの分野をカバーしています。出発点としてよく使われるのは、llama.cpp(ほとんどのツールの土台となるGGUFエンジンで、オフロードとキャッシュの制御が最も細かい)、Ollama(1コマンドでモデルを使え、API付き)、JanとGPT4All(デスクトップアプリでCPUにも優しい)、KoboldCpp(GPU/RAMハイブリッド構成のために作られた単一ファイルのランナー)、text-generation-webui(本格的なWebインターフェース)、WebLLM(WebGPUでブラウザ内動作、ブラウザのメモリ制限内)、そしてvLLM(多数のユーザーへの配信向け — 家庭向けの適合よりスループットを取る別のトレードオフ)です。各プロジェクトのページには、そのプロジェクト自身のドキュメントに基づく要件が記載されています。
8Bモデルに必要なVRAMは何GB?
重みだけで、Q4_K_Mで約5GB、Q8_0で約8.5GB、FP16で16GBです。チャット程度のコンテキストでは、KVキャッシュとバッファに約1〜2GBを加えてください。8GBのグラフィックカードが4ビット版の快適な最小構成で、最も一般的な家庭用セットアップです。
VRAM 8GBでローカルLLMは動く?
はい — それが標準的な入口です。7〜8BモデルをQ4_K_MでGPUだけで完全に動かせ、より小さい1〜3Bモデルは8ビットやフル精度で動かせます。14Bモデルには、一部のレイヤーをシステムRAMへオフロードしなければ足りません。動作はしますが、遅くなります。
VRAM 24GBで動かせる最大のモデルは?
Q4_K_Mの32Bモデル — 重み約20GB — が完全に入り、長いコンテキストの余裕も残ります。Q4_K_Mの70Bモデル(約43GB)は入りません。RAMへの部分オフロード、より低い量子化、または2枚目のGPUが必要です。
GPUなしでローカルLLMを動かせる?
はい。CPUではシステムRAMがVRAMの役割を果たし、同じサイズ表が当てはまります。Q4_K_Mの8Bモデルは重みに約5GBのRAMが必要です。生成ははるかに遅く、デスクトップCPUで8Bモデルなら通常は毎秒1桁のトークン数ですが、動作はしますし、バッチ処理なら待ち時間は問題になりません。
Q4_K_Mとは何?
GGUFの量子化形式のひとつです。重みを各約4ビット — スケーリング係数を含めて1パラメータあたり約0.6バイト — で保存し、敏感なテンソルはより高い精度に保ちます(「K」方式。「M」はミディアムサイズ)。家庭用ハードウェアにおけるファイルサイズと回答品質の標準的なバランスであり、ほとんどの読者が目安にすべき列です。
VRAMが増えるとモデルは速くなる?
直接的には速くなりません。VRAMが決めるのは何が収まるかで、生成速度はメモリ帯域幅と演算性能から生まれます。余分なVRAMが速度に効くのは間接的にだけです。モデル全体とより長いコンテキストを、システムRAMへあふれさせることなくGPU上に保てるからです。
gpt-oss-120bに必要なメモリは?
MXFP4の重みは約65GBなので、対象は80GBクラスのデータセンター向けGPU、または96GB以上のユニファイドメモリを持つMacです。小さい方の兄弟モデルgpt-oss-20b(重み約14GB)は、16GBのカード1枚で動くよう設計されました。
これらの数値の算出方法
表のファイルサイズは、各サイズクラスの代表的なモデル(Llama、Qwen、Mistral、Gemmaの各ファミリー)の公開GGUFサイズであり、FP16の列は単にパラメータ数 × 2バイトです。量子化サイズは各形式の1重みあたりバイト数に従います(Q8_0 ≈ 1.06、Q4_K_M ≈ 0.6、Q2_K ≈ 0.35バイト/パラメータ)。KVキャッシュの数値は、Llama 3.1 8Bのアーキテクチャ — 32層、KVヘッド8個、ヘッド次元128 — から計算しました。このページではベンチマーク速度を引用していません。速度はお使いのハードウェア、ドライバ、ランタイム設定に依存するためです。各カタログプロジェクトは、自身のページに要件を記載しています。ここの数値がプロジェクトのドキュメントと食い違う場合は、プロジェクトのドキュメントが正です。お問い合わせページからお知らせいただければ修正します。
関連:Open-Source AI Statistics 2026 — 同じ検証済みカタログに基づく統計です。