Сколько VRAM нужно для запуска локальной LLM?
Короткий ответ: столько, чтобы хватило на файл модели и её рабочую память. Типичной модели 8B нужно около 5 ГБ при популярной 4-битной настройке, около 8,5 ГБ при 8-битной и 16 ГБ без квантования. Это руководство превращает вашу видеокарту — или системную RAM, если видеокарты нет, — в конкретный ответ для каждого распространённого размера модели.
Последнее обновление: ноябрь 2026 года · Издатель: LibreAI · Команда LibreAI · Цифры рассчитаны из числа параметров моделей и опубликованных размеров файлов GGUF — метод приведён в конце страницы
Главное вкратце
- Веса решают почти всё. Нужный объём VRAM ≈ размер файла модели на диске плюс запас примерно 10–20 % на KV-кэш и буферы среды выполнения при контекстах длиной с диалог.
- Модель 8B в Q4_K_M (≈4,9 ГБ) — точка входа: любая видеокарта на 8 ГБ запускает её полностью на GPU.
- Карта на 24 ГБ (класс RTX 3090 / 4090) запускает модель 32B в Q4_K_M с запасом; модели 70B при этой настройке нужно 48 ГБ или частичная выгрузка в RAM.
- Отсутствие GPU — не тупик: та же таблица размеров читается как системная RAM для запусков только на CPU — медленнее, но работает.
- gpt-oss-20b создан для карт на 16 ГБ; gpt-oss-120b нужна GPU класса 80 ГБ или Mac с большим объёмом памяти.
Короткий ответ
У языковой модели в памяти три части: веса (сам файл модели), KV-кэш (рабочая память модели о вашем разговоре, которая растёт с длиной контекста) и буферы среды выполнения. При обычном использовании в чате веса составляют 80–95 % всего объёма, поэтому начинать нужно с размера файла модели на диске. Квантование — это то, что делает домашнее железо пригодным: хранение каждого веса примерно в 4 битах вместо 16 уменьшает файл примерно в четыре раза при небольшой потере качества. Каждая цифра ниже — это реальный размер файла GGUF или прямой расчёт из него.
VRAM по размеру модели и квантованию
Только веса, в ГБ, — размер файла модели, который вы скачиваете. Те же числа действуют для системной RAM на пути только с CPU. Добавьте запас на KV-кэш и буферы (следующий раздел), прежде чем сравнивать со своей картой.
| Размер модели | FP16 | Q8_0 (8 бит) | Q4_K_M (4 бита) | Q2_K (2 бита) |
|---|---|---|---|---|
| ~1B | 2,0 | 1,1 | 0,8 | 0,6 |
| ~3B | 6,4 | 3,4 | 2,0 | 1,3 |
| ~8B | 16 | 8,5 | 4,9 | 3,0 |
| ~14B | 30 | 16 | 9,0 | 5,6 |
| ~32B | 65 | 35 | 20 | 12 |
| ~70B | 141 | 75 | 43 | 26 |
| gpt-oss-20b (MoE) | — | — | ≈14 (родной MXFP4) | — |
| gpt-oss-120b (MoE) | — | — | ≈65 (родной MXFP4) | — |
Модели со смесью экспертов (MoE), такие как gpt-oss, хранят всех своих экспертов, поэтому полное число параметров определяет размер файла, даже если для каждого токена активна лишь часть модели.
KV-кэш: почему длина контекста съедает память
KV-кэш — это память модели обо всём сказанном ранее, и он растёт линейно с длиной контекста. Модель 8B архитектуры Llama 3.1 хранит около 0,13 МБ кэша на токен в полной точности, поэтому разговор на 8 000 токенов добавляет примерно 1 ГБ, а контекст на 32 000 токенов — около 4 ГБ. Большие модели хранят больше на токен. Большинство сред выполнения умеют квантовать и кэш, уменьшая его вдвое или вчетверо при небольшой потере качества. Практическое правило: добавляйте 1–2 ГБ поверх весов для обычного чата и 4 ГБ или больше, если собираетесь давать модели длинные документы.
Что помещается на вашей видеокарте?
«Помещается» здесь означает, что вся модель остаётся на GPU при обычном чат-контексте, — это быстрая конфигурация. Названные карты — примеры каждого уровня (у RTX 3060 — 12 ГБ, у RTX 4060 — 8 ГБ, у RTX 4090 и RX 7900 XTX — 24 ГБ).
| Ваша VRAM | Самая большая удобная конфигурация полностью на GPU |
|---|---|
| 4–6 ГБ | Модель 3B в Q4_K_M; модель 8B — только с выгрузкой слоёв в RAM |
| 8 ГБ | Модель 8B в Q4_K_M — классическая точка входа |
| 12 ГБ | Модель 8B в Q8_0 или модель 14B в Q4_K_M |
| 16 ГБ | Модель 14B в Q8_0 или gpt-oss-20b в родном MXFP4 |
| 24 ГБ | Модель 32B в Q4_K_M, с запасом на длинный контекст |
| 32 ГБ | Модель 32B в Q8_0 или модель 70B в низкой квантизации класса 3 бит |
| 48 ГБ | Модель 70B в Q4_K_M, полностью на GPU |
| 80 ГБ | gpt-oss-120b или модель 70B в Q8_0 |
Разобранный пример: карта на 8 ГБ, шаг за шагом
Возьмём настольный компьютер с RTX 4060 (8 ГБ). Скачайте модель 8B в Q4_K_M: файл весит 4,9 ГБ. Загрузите её в llama.cpp или Ollama с контекстом 8 000 токенов: KV-кэш добавит около 1 ГБ, а буферы — несколько сотен МБ, итого примерно 6,3 ГБ, с удобным запасом на карте. Та же модель в Q8_0 (файл 8,5 ГБ) полностью не помещается, поэтому среда выполнения выгружает часть слоёв в системную RAM, и генерация заметно замедляется. Именно для этого решения и существует эта страница: выбирайте квантование, которое помещается, а не самый большой файл.
Нет видеокарты? Путь только на CPU
Всё сказанное выше читается так же с системной RAM вместо VRAM: файл модели живёт в RAM. Запуск модели 8B в Q4_K_M на CPU требует тех же ~5 ГБ RAM на веса плюс место для операционной системы: 16 ГБ общей RAM — рабоче, а 32 ГБ — удобно и также покрывает модель 14B в Q4_K_M. Скорость определяет пропускная способность памяти, а не число ядер: от типичного настольного CPU на модели 8B ждите однозначное число токенов в секунду — годится для резюме, пакетных заданий и ночной работы, но вяло для живого чата. Гибридный режим делит разницу: llama.cpp и KoboldCpp могут держать часть модели на небольшой GPU, а остальное — в RAM.
Apple Silicon: один общий пул памяти
Компьютеры Mac с чипами серии M делят единый пул памяти между CPU и GPU, поэтому колонка VRAM превращается в общий объём памяти вашего Mac за вычетом того, что нужно macOS и вашим приложениям, — оставляйте свободной примерно четверть. На практике: Mac на 16 ГБ хорошо запускает модель 8B в Q4_K_M и впритык — 14B в Q4_K_M; 32 ГБ запускают модель 32B в Q4_K_M; 64 ГБ — модель 70B в Q4_K_M; а Mac на 128 ГБ — это конфигурация, которая вмещает gpt-oss-120b. Настольные приложения вроде Jan и GPT4All делают настройку на macOS делом двух кликов.
Какую среду выполнения выбрать?
Когда размер определён, среда выполнения решает, как модель будет загружена. Категория «Локальные LLM» каталога покрывает всё поле; обычные точки старта — llama.cpp (движок GGUF, на котором строится большинство инструментов, с самым тонким контролем выгрузки и кэша), Ollama (модели одной командой и API), Jan и GPT4All (настольные приложения, дружелюбные к CPU), KoboldCpp (один самодостаточный исполняемый файл, созданный для гибридных связок GPU/RAM), text-generation-webui (полноценный веб-интерфейс), WebLLM (работает в браузере через WebGPU, в пределах лимитов памяти браузера) и vLLM (для обслуживания многих пользователей сразу — другой компромисс: пропускная способность вместо домашней подгонки). На странице каждого проекта указаны его собственные документированные требования.
Сколько VRAM нужно модели 8B?
Около 5 ГБ в Q4_K_M, 8,5 ГБ в Q8_0 и 16 ГБ в FP16 на веса; добавьте примерно 1–2 ГБ на KV-кэш и буферы при контекстах длиной с диалог. Видеокарта на 8 ГБ — удобный минимум для 4-битной версии и самая распространённая домашняя конфигурация.
Хватит ли 8 ГБ VRAM для локальных LLM?
Да — это стандартная точка входа. На ней модели 7–8B в Q4_K_M работают полностью на GPU, а меньшие модели 1–3B — в 8 битах или полной точности. Для модели 14B этого не хватит без выгрузки части слоёв в системную RAM: работает, но медленнее.
Какую самую большую модель можно запустить на 24 ГБ VRAM?
Модель 32B в Q4_K_M — около 20 ГБ весов — помещается полностью, с запасом на длинный контекст. Модель 70B в Q4_K_M (около 43 ГБ) не помещается: ей нужна частичная выгрузка в RAM, более низкая квантизация или вторая GPU.
Можно ли запустить локальную LLM без GPU?
Да. На CPU роль VRAM играет системная RAM, и действует та же таблица размеров: модели 8B в Q4_K_M нужно около 5 ГБ RAM на веса. Генерация идёт намного медленнее — обычно однозначное число токенов в секунду для модели 8B на настольном CPU, — но работает, а пакетным задачам ожидание безразлично.
Что означает Q4_K_M?
Это формат квантования GGUF: веса хранятся примерно по 4 бита — около 0,6 байта на параметр с учётом масштабных коэффициентов, — а более чувствительные тензоры сохраняются с более высокой точностью (схема «K»; «M» — средний размер). Это стандартный баланс размера файла и качества ответов для домашнего железа и та колонка, на которую стоит ориентироваться большинству читателей.
Делает ли больший объём VRAM модель быстрее?
Не напрямую. VRAM решает, что помещается; скорость генерации дают пропускная способность памяти и вычислительная мощность. Лишняя VRAM помогает скорости только косвенно — удерживая всю модель и более длинный контекст на GPU вместо перелива в системную RAM.
Сколько памяти нужно gpt-oss-120b?
Его веса в MXFP4 занимают около 65 ГБ, поэтому он рассчитан на GPU дата-центров класса 80 ГБ или на Mac с 96 ГБ и более объединённой памяти. Его младший брат gpt-oss-20b (около 14 ГБ весов) был спроектирован для работы на одной карте на 16 ГБ.
Как рассчитаны эти цифры
Размеры файлов в таблице — это опубликованные размеры GGUF представительных моделей каждого класса размера (семейства Llama, Qwen, Mistral и Gemma), а колонка FP16 — это просто число параметров × 2 байта. Квантованные размеры следуют байтам на вес каждого формата (Q8_0 ≈ 1,06; Q4_K_M ≈ 0,6; Q2_K ≈ 0,35 байта на параметр). Цифры KV-кэша рассчитаны из архитектуры Llama 3.1 8B: 32 слоя, 8 KV-голов, головы размерности 128. Скорости из бенчмарков на этой странице не приводятся, потому что скорость зависит от вашего конкретного железа, драйверов и настроек среды выполнения; каждый проект каталога указывает собственные требования на своей странице. Если цифра здесь противоречит документации проекта, права документация проекта — сообщите нам через страницу контактов, и мы исправим.
См. также: Open-Source AI Statistics 2026 — статистика по тому же проверенному каталогу.