// local-llm · FlashML-org/FreeToken

FreeToken

FreeToken — проект с открытым исходным кодом из категории «Локальные LLM» от FlashML-org (FlashML-org/FreeToken на GitHub). У него 17 211 звёзд на GitHub и 1 705 форков, он распространяется по лицензии Apache-2.0 и последний раз обновлялся на GitHub 15 ноября 2026.

Run 290B+ frontier MoE models on your own gaming PC at interactive speed

★ 17,2 тыс. звёзд⑂ 1,7 тыс. форковApache-2.0обновлено нояб. 2026
▦ визуал — в README этого проекта нет встраиваемого скриншота,
поэтому здесь заглушка. Руководство ниже в любом случае полное.
// факты о проекте

Факты о проекте

Репозиторий
FlashML-org/FreeToken
Звёзды GitHub
17 211
Форки
1 705
Лицензия
Apache-2.0
Последнее обновление на GitHub
15 ноября 2026
Категория
Локальные LLM
Тип страницы
Полное руководство по установке
Официальный сайт
Official site
// как это работает

Как это работает

  1. Clone the repo

    Get the source and move into the project folder.

  2. Install it

    Install with uv, including the acceleration extras.

  3. Pick a model

    Choose a supported open-weight MoE model and follow the README serving example.

  4. Serve it

    Run the engine and point your client at it.

// возможности

Почему его любят

Frontier MoE on consumer hardware

290B+ open-weight MoE models on a gaming PC, per the project’s own claim.

Bandwidth-adaptive co-execution

CPU-GPU co-execution that adapts to the bandwidth your machine actually has.

Semantic-aware caching

Semantic anchor checkpoints for recurrent state and KV caches, so agentic context edits skip recomputation.

Elastic memory

Dynamic VRAM re-allocation between expert caches and KV memory, without restarts or weight reloading.

Broad MoE support

DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2 and other frontier open-weight MoE models.

Fast weight format

The FTW fast weight format plus double-buffered prefill streaming for interactive speeds.

// запустите сами

Запустите сами

  1. Step 1 — Clone the repo

    Download the source and move into the folder.

    git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
  2. Step 2 — Install it

    Install in editable mode with the acceleration extras.

    uv pip install -e ".[accel]"
  3. Step 3 — Start serving

    Pick a supported model and follow the README serving example.

    # see README for the exact serve command and model flags
// сценарии использования

Что можно создать

  • Run a 290B+ open-weight MoE model on hardware you already own.
  • Serve frontier models locally for agents without a datacenter bill.
  • Keep long agent contexts cheap with semantic-aware KV caching.
  • Reallocate VRAM between experts and KV memory without restarting.

For comparison, the same shelf also holds llama.cpp — LLM inference in C/C++ and colibri — Tiny C engine that runs huge MoE models on the. The complete list is the Local LLM shelf. Before running a model locally, check how much VRAM you need for local LLMs — model size has to match your hardware.

// вопросы и ответы

Вопросы и ответы

What is FreeToken?

An edge-native MoE serving engine that runs frontier-scale open-weight models on personal and consumer hardware.

Which models does it support?

Frontier open-weight MoE models including DeepSeek-V4-Flash, Qwen3.6-35B-A3B and GLM-5.2.

Do I need a datacenter GPU?

No — that is the point: it treats your GPU, CPU, host memory and interconnects as one elastic inference platform.

Is it free?

Yes, Apache-2.0 licensed. You still need the model weights, which you download yourself.

How do I install it?

Clone the repo and install with uv, including the [accel] extras; the README has the serving examples.

// продолжить изучение

Похожие инструменты

Локальные LLM

llama.cpp

LLM inference in C/C++

★ 130,2 тыс. звёздMIT
Смотреть руководство →
Локальные LLM

colibri

Tiny C engine that runs huge MoE models on the machine you already own — GLM, Kimi K3, DeepSeek, Qwen, Apache-2.0

★ 49,3 тыс. звёздApache-2.0
Смотреть руководство →
Локальные LLM

GPT4All

GPT4All — run local LLMs on any device: a free desktop chat client and Python SDK that run open models entirely on your CPU, no GPU or cloud required

★ 77,4 тыс. звёздMIT
Смотреть руководство →
Локальные LLM

Ollama

The simplest way to run open language models on your own machine.

★ 182,1 тыс. звёздMIT
Смотреть руководство →
Локальные LLM

kalosm

Run controllable pre-trained AI models locally, written in Rust.

★ 2,2 тыс. звёздApache-2.0
Смотреть руководство →
Локальные LLM

whatcanirun

Find the best local models for your hardware — and how to run them.

★ 247 звёздMIT
Смотреть руководство →
// альтернативы

Альтернативы: Локальные LLM

Другие проекты из категории «Локальные LLM» с наибольшим числом звёзд в каталоге LibreAI — реалистичный список альтернатив, если FreeToken вам не подходит.

  • Ollama★ 182,1 тыс.

    The simplest way to run open language models on your own machine.

  • Open Webui★ 153,9 тыс.

    User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

  • llama.cpp★ 130,2 тыс.

    LLM inference in C/C++

  • vLLM★ 93,1 тыс.

    A high-throughput and memory-efficient inference and serving engine for LLMs

  • lobehub★ 83,0 тыс.

    🤯 LobeHub is your Chief Agent Operator, organizing your agents into 7×24 operations by hiring, scheduling, and reporting on your entire AI team.

// ещё в категории local-llm

Больше проектов: Локальные LLM

Соседние проекты из категории «Локальные LLM» в каталоге, ближайшие по числу звёзд к FreeToken — продолжайте изучать полку по обе стороны от него.

  • Web LLM★ 19,2 тыс.

    High-performance In-browser LLM Inference Engine

  • Qwen3-Coder★ 16,8 тыс.

    Qwen3-Coder - Alibaba's open code model series for agentic coding, up to 1M tokens of context

  • GPT-OSS★ 20,5 тыс.

    GPT-OSS — OpenAI open-weight language models: gpt-oss-120b for production reasoning and gpt-oss-20b for local use, Apache-2.0

  • MNN★ 16,2 тыс.

    Alibaba's lightweight, blazing-fast inference engine for on-device LLMs and edge AI.

  • omlx★ 22,6 тыс.

    A fast LLM inference server for Apple Silicon, managed from the macOS menu bar

  • nano-vllm★ 15,7 тыс.

    A lightweight vLLM implementation built from scratch in about 1,200 readable lines of Python.

Получить FreeToken

Бесплатно и открыто — забирайте исходный код, ставьте звезду репозиторию и начинайте создавать.