LibreAI / ローカルLLM / FreeToken
// local-llm · FlashML-org/FreeToken

FreeToken

FreeTokenは、FlashML-orgが公開しているオープンソースのローカルLLMプロジェクトです(GitHub: FlashML-org/FreeToken)。GitHubスターは17,211、フォークは1,705で、Apache-2.0ライセンスの下で公開されています。GitHubでの最終更新は2026年11月15日です。

Run 290B+ frontier MoE models on your own gaming PC at interactive speed

★ 17.2k スター⑂ 1.7k フォークApache-2.0更新 2026年11月
▦ ビジュアル — このプロジェクトのREADMEには埋め込み可能なスクリーンショットがないため、
ここではプレースホルダーを表示しています。下のガイド自体は完全な内容です。
// プロジェクトの基本情報

プロジェクト基本情報

リポジトリ
FlashML-org/FreeToken
GitHubスター
17,211
フォーク
1,705
ライセンス
Apache-2.0
GitHubでの最終更新
2026年11月15日
カテゴリ
ローカルLLM
掲載タイプ
完全なインストールガイド
公式サイト
Official site
// 仕組み

仕組み

  1. Clone the repo

    Get the source and move into the project folder.

  2. Install it

    Install with uv, including the acceleration extras.

  3. Pick a model

    Choose a supported open-weight MoE model and follow the README serving example.

  4. Serve it

    Run the engine and point your client at it.

// 機能

選ばれる理由

Frontier MoE on consumer hardware

290B+ open-weight MoE models on a gaming PC, per the project’s own claim.

Bandwidth-adaptive co-execution

CPU-GPU co-execution that adapts to the bandwidth your machine actually has.

Semantic-aware caching

Semantic anchor checkpoints for recurrent state and KV caches, so agentic context edits skip recomputation.

Elastic memory

Dynamic VRAM re-allocation between expert caches and KV memory, without restarts or weight reloading.

Broad MoE support

DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2 and other frontier open-weight MoE models.

Fast weight format

The FTW fast weight format plus double-buffered prefill streaming for interactive speeds.

// 自分で実行

自分で実行してみる

  1. Step 1 — Clone the repo

    Download the source and move into the folder.

    git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
  2. Step 2 — Install it

    Install in editable mode with the acceleration extras.

    uv pip install -e ".[accel]"
  3. Step 3 — Start serving

    Pick a supported model and follow the README serving example.

    # see README for the exact serve command and model flags
// 活用例

作れるもの

  • Run a 290B+ open-weight MoE model on hardware you already own.
  • Serve frontier models locally for agents without a datacenter bill.
  • Keep long agent contexts cheap with semantic-aware KV caching.
  • Reallocate VRAM between experts and KV memory without restarting.

For comparison, the same shelf also holds llama.cpp — LLM inference in C/C++ and colibri — Tiny C engine that runs huge MoE models on the. The complete list is the Local LLM shelf. Before running a model locally, check how much VRAM you need for local LLMs — model size has to match your hardware.

// よくある質問

よくある質問

What is FreeToken?

An edge-native MoE serving engine that runs frontier-scale open-weight models on personal and consumer hardware.

Which models does it support?

Frontier open-weight MoE models including DeepSeek-V4-Flash, Qwen3.6-35B-A3B and GLM-5.2.

Do I need a datacenter GPU?

No — that is the point: it treats your GPU, CPU, host memory and interconnects as one elastic inference platform.

Is it free?

Yes, Apache-2.0 licensed. You still need the model weights, which you download yourself.

How do I install it?

Clone the repo and install with uv, including the [accel] extras; the README has the serving examples.

// さらに探索

似ているツール

ローカルLLM

llama.cpp

LLM inference in C/C++

★ 130.2k スターMIT
ガイドを見る →
ローカルLLM

colibri

Tiny C engine that runs huge MoE models on the machine you already own — GLM, Kimi K3, DeepSeek, Qwen, Apache-2.0

★ 49.3k スターApache-2.0
ガイドを見る →
ローカルLLM

GPT4All

GPT4All — run local LLMs on any device: a free desktop chat client and Python SDK that run open models entirely on your CPU, no GPU or cloud required

★ 77.4k スターMIT
ガイドを見る →
ローカルLLM

Ollama

The simplest way to run open language models on your own machine.

★ 182.1k スターMIT
ガイドを見る →
ローカルLLM

kalosm

Run controllable pre-trained AI models locally, written in Rust.

★ 2.2k スターApache-2.0
ガイドを見る →
ローカルLLM

whatcanirun

Find the best local models for your hardware — and how to run them.

★ 247 スターMIT
ガイドを見る →
// 代替候補

代替候補: ローカルLLM

LibreAIカタログに掲載されたローカルLLMプロジェクトの中で最もスターの多いもの — FreeTokenが合わなかった場合に検討したい、現実的な候補リストです。

  • Ollama★ 182.1k

    The simplest way to run open language models on your own machine.

  • Open Webui★ 153.9k

    User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

  • llama.cpp★ 130.2k

    LLM inference in C/C++

  • vLLM★ 93.1k

    A high-throughput and memory-efficient inference and serving engine for LLMs

  • lobehub★ 83.0k

    🤯 LobeHub is your Chief Agent Operator, organizing your agents into 7×24 operations by hiring, scheduling, and reporting on your entire AI team.

// さらに見る local-llm

さらに見る: ローカルLLM

カタログの中でFreeTokenとスター数が近いローカルLLMプロジェクト — 前後の棚もそのまま見て回れます。

  • Web LLM★ 19.2k

    High-performance In-browser LLM Inference Engine

  • Qwen3-Coder★ 16.8k

    Qwen3-Coder - Alibaba's open code model series for agentic coding, up to 1M tokens of context

  • GPT-OSS★ 20.5k

    GPT-OSS — OpenAI open-weight language models: gpt-oss-120b for production reasoning and gpt-oss-20b for local use, Apache-2.0

  • MNN★ 16.2k

    Alibaba's lightweight, blazing-fast inference engine for on-device LLMs and edge AI.

  • omlx★ 22.6k

    A fast LLM inference server for Apple Silicon, managed from the macOS menu bar

  • nano-vllm★ 15.7k

    A lightweight vLLM implementation built from scratch in about 1,200 readable lines of Python.

FreeTokenを入手する

無料でオープン — ソースコードを入手して、リポジトリにスターを付け、作り始めましょう。