// руководство

Сколько VRAM нужно для запуска локальной LLM?

Короткий ответ: столько, чтобы хватило на файл модели и её рабочую память. Типичной модели 8B нужно около 5 ГБ при популярной 4-битной настройке, около 8,5 ГБ при 8-битной и 16 ГБ без квантования. Это руководство превращает вашу видеокарту — или системную RAM, если видеокарты нет, — в конкретный ответ для каждого распространённого размера модели.

Последнее обновление: ноябрь 2026 года · Издатель: LibreAI · Команда LibreAI · Цифры рассчитаны из числа параметров моделей и опубликованных размеров файлов GGUF — метод приведён в конце страницы

Главное вкратце

  1. Веса решают почти всё. Нужный объём VRAM ≈ размер файла модели на диске плюс запас примерно 10–20 % на KV-кэш и буферы среды выполнения при контекстах длиной с диалог.
  2. Модель 8B в Q4_K_M (≈4,9 ГБ) — точка входа: любая видеокарта на 8 ГБ запускает её полностью на GPU.
  3. Карта на 24 ГБ (класс RTX 3090 / 4090) запускает модель 32B в Q4_K_M с запасом; модели 70B при этой настройке нужно 48 ГБ или частичная выгрузка в RAM.
  4. Отсутствие GPU — не тупик: та же таблица размеров читается как системная RAM для запусков только на CPU — медленнее, но работает.
  5. gpt-oss-20b создан для карт на 16 ГБ; gpt-oss-120b нужна GPU класса 80 ГБ или Mac с большим объёмом памяти.

Короткий ответ

У языковой модели в памяти три части: веса (сам файл модели), KV-кэш (рабочая память модели о вашем разговоре, которая растёт с длиной контекста) и буферы среды выполнения. При обычном использовании в чате веса составляют 80–95 % всего объёма, поэтому начинать нужно с размера файла модели на диске. Квантование — это то, что делает домашнее железо пригодным: хранение каждого веса примерно в 4 битах вместо 16 уменьшает файл примерно в четыре раза при небольшой потере качества. Каждая цифра ниже — это реальный размер файла GGUF или прямой расчёт из него.

VRAM по размеру модели и квантованию

Только веса, в ГБ, — размер файла модели, который вы скачиваете. Те же числа действуют для системной RAM на пути только с CPU. Добавьте запас на KV-кэш и буферы (следующий раздел), прежде чем сравнивать со своей картой.

Размер моделиFP16Q8_0 (8 бит)Q4_K_M (4 бита)Q2_K (2 бита)
~1B2,01,10,80,6
~3B6,43,42,01,3
~8B168,54,93,0
~14B30169,05,6
~32B65352012
~70B141754326
gpt-oss-20b (MoE)——≈14 (родной MXFP4)—
gpt-oss-120b (MoE)——≈65 (родной MXFP4)—

Модели со смесью экспертов (MoE), такие как gpt-oss, хранят всех своих экспертов, поэтому полное число параметров определяет размер файла, даже если для каждого токена активна лишь часть модели.

KV-кэш: почему длина контекста съедает память

KV-кэш — это память модели обо всём сказанном ранее, и он растёт линейно с длиной контекста. Модель 8B архитектуры Llama 3.1 хранит около 0,13 МБ кэша на токен в полной точности, поэтому разговор на 8 000 токенов добавляет примерно 1 ГБ, а контекст на 32 000 токенов — около 4 ГБ. Большие модели хранят больше на токен. Большинство сред выполнения умеют квантовать и кэш, уменьшая его вдвое или вчетверо при небольшой потере качества. Практическое правило: добавляйте 1–2 ГБ поверх весов для обычного чата и 4 ГБ или больше, если собираетесь давать модели длинные документы.

Что помещается на вашей видеокарте?

«Помещается» здесь означает, что вся модель остаётся на GPU при обычном чат-контексте, — это быстрая конфигурация. Названные карты — примеры каждого уровня (у RTX 3060 — 12 ГБ, у RTX 4060 — 8 ГБ, у RTX 4090 и RX 7900 XTX — 24 ГБ).

Ваша VRAMСамая большая удобная конфигурация полностью на GPU
4–6 ГБМодель 3B в Q4_K_M; модель 8B — только с выгрузкой слоёв в RAM
8 ГБМодель 8B в Q4_K_M — классическая точка входа
12 ГБМодель 8B в Q8_0 или модель 14B в Q4_K_M
16 ГБМодель 14B в Q8_0 или gpt-oss-20b в родном MXFP4
24 ГБМодель 32B в Q4_K_M, с запасом на длинный контекст
32 ГБМодель 32B в Q8_0 или модель 70B в низкой квантизации класса 3 бит
48 ГБМодель 70B в Q4_K_M, полностью на GPU
80 ГБgpt-oss-120b или модель 70B в Q8_0

Разобранный пример: карта на 8 ГБ, шаг за шагом

Возьмём настольный компьютер с RTX 4060 (8 ГБ). Скачайте модель 8B в Q4_K_M: файл весит 4,9 ГБ. Загрузите её в llama.cpp или Ollama с контекстом 8 000 токенов: KV-кэш добавит около 1 ГБ, а буферы — несколько сотен МБ, итого примерно 6,3 ГБ, с удобным запасом на карте. Та же модель в Q8_0 (файл 8,5 ГБ) полностью не помещается, поэтому среда выполнения выгружает часть слоёв в системную RAM, и генерация заметно замедляется. Именно для этого решения и существует эта страница: выбирайте квантование, которое помещается, а не самый большой файл.

Нет видеокарты? Путь только на CPU

Всё сказанное выше читается так же с системной RAM вместо VRAM: файл модели живёт в RAM. Запуск модели 8B в Q4_K_M на CPU требует тех же ~5 ГБ RAM на веса плюс место для операционной системы: 16 ГБ общей RAM — рабоче, а 32 ГБ — удобно и также покрывает модель 14B в Q4_K_M. Скорость определяет пропускная способность памяти, а не число ядер: от типичного настольного CPU на модели 8B ждите однозначное число токенов в секунду — годится для резюме, пакетных заданий и ночной работы, но вяло для живого чата. Гибридный режим делит разницу: llama.cpp и KoboldCpp могут держать часть модели на небольшой GPU, а остальное — в RAM.

Apple Silicon: один общий пул памяти

Компьютеры Mac с чипами серии M делят единый пул памяти между CPU и GPU, поэтому колонка VRAM превращается в общий объём памяти вашего Mac за вычетом того, что нужно macOS и вашим приложениям, — оставляйте свободной примерно четверть. На практике: Mac на 16 ГБ хорошо запускает модель 8B в Q4_K_M и впритык — 14B в Q4_K_M; 32 ГБ запускают модель 32B в Q4_K_M; 64 ГБ — модель 70B в Q4_K_M; а Mac на 128 ГБ — это конфигурация, которая вмещает gpt-oss-120b. Настольные приложения вроде Jan и GPT4All делают настройку на macOS делом двух кликов.

Какую среду выполнения выбрать?

Когда размер определён, среда выполнения решает, как модель будет загружена. Категория «Локальные LLM» каталога покрывает всё поле; обычные точки старта — llama.cpp (движок GGUF, на котором строится большинство инструментов, с самым тонким контролем выгрузки и кэша), Ollama (модели одной командой и API), Jan и GPT4All (настольные приложения, дружелюбные к CPU), KoboldCpp (один самодостаточный исполняемый файл, созданный для гибридных связок GPU/RAM), text-generation-webui (полноценный веб-интерфейс), WebLLM (работает в браузере через WebGPU, в пределах лимитов памяти браузера) и vLLM (для обслуживания многих пользователей сразу — другой компромисс: пропускная способность вместо домашней подгонки). На странице каждого проекта указаны его собственные документированные требования.

Сколько VRAM нужно модели 8B?

Около 5 ГБ в Q4_K_M, 8,5 ГБ в Q8_0 и 16 ГБ в FP16 на веса; добавьте примерно 1–2 ГБ на KV-кэш и буферы при контекстах длиной с диалог. Видеокарта на 8 ГБ — удобный минимум для 4-битной версии и самая распространённая домашняя конфигурация.

Хватит ли 8 ГБ VRAM для локальных LLM?

Да — это стандартная точка входа. На ней модели 7–8B в Q4_K_M работают полностью на GPU, а меньшие модели 1–3B — в 8 битах или полной точности. Для модели 14B этого не хватит без выгрузки части слоёв в системную RAM: работает, но медленнее.

Какую самую большую модель можно запустить на 24 ГБ VRAM?

Модель 32B в Q4_K_M — около 20 ГБ весов — помещается полностью, с запасом на длинный контекст. Модель 70B в Q4_K_M (около 43 ГБ) не помещается: ей нужна частичная выгрузка в RAM, более низкая квантизация или вторая GPU.

Можно ли запустить локальную LLM без GPU?

Да. На CPU роль VRAM играет системная RAM, и действует та же таблица размеров: модели 8B в Q4_K_M нужно около 5 ГБ RAM на веса. Генерация идёт намного медленнее — обычно однозначное число токенов в секунду для модели 8B на настольном CPU, — но работает, а пакетным задачам ожидание безразлично.

Что означает Q4_K_M?

Это формат квантования GGUF: веса хранятся примерно по 4 бита — около 0,6 байта на параметр с учётом масштабных коэффициентов, — а более чувствительные тензоры сохраняются с более высокой точностью (схема «K»; «M» — средний размер). Это стандартный баланс размера файла и качества ответов для домашнего железа и та колонка, на которую стоит ориентироваться большинству читателей.

Делает ли больший объём VRAM модель быстрее?

Не напрямую. VRAM решает, что помещается; скорость генерации дают пропускная способность памяти и вычислительная мощность. Лишняя VRAM помогает скорости только косвенно — удерживая всю модель и более длинный контекст на GPU вместо перелива в системную RAM.

Сколько памяти нужно gpt-oss-120b?

Его веса в MXFP4 занимают около 65 ГБ, поэтому он рассчитан на GPU дата-центров класса 80 ГБ или на Mac с 96 ГБ и более объединённой памяти. Его младший брат gpt-oss-20b (около 14 ГБ весов) был спроектирован для работы на одной карте на 16 ГБ.

Как рассчитаны эти цифры

Размеры файлов в таблице — это опубликованные размеры GGUF представительных моделей каждого класса размера (семейства Llama, Qwen, Mistral и Gemma), а колонка FP16 — это просто число параметров × 2 байта. Квантованные размеры следуют байтам на вес каждого формата (Q8_0 ≈ 1,06; Q4_K_M ≈ 0,6; Q2_K ≈ 0,35 байта на параметр). Цифры KV-кэша рассчитаны из архитектуры Llama 3.1 8B: 32 слоя, 8 KV-голов, головы размерности 128. Скорости из бенчмарков на этой странице не приводятся, потому что скорость зависит от вашего конкретного железа, драйверов и настроек среды выполнения; каждый проект каталога указывает собственные требования на своей странице. Если цифра здесь противоречит документации проекта, права документация проекта — сообщите нам через страницу контактов, и мы исправим.

См. также: Open-Source AI Statistics 2026 — статистика по тому же проверенному каталогу.

AdvertisementToolNest · Free online tools146 free tools. Zero sign-ups.Calculators, converters, PDF & developer tools — right in your browser.Open ToolNest →