LibreAI / Lokale LLMs / FreeToken
// local-llm · FlashML-org/FreeToken

FreeToken

FreeToken ist ein Open-Source-Projekt aus der Kategorie Lokale LLMs von FlashML-org (FlashML-org/FreeToken auf GitHub). Es hat 17.211 Sterne auf GitHub und 1.705 Forks, wird unter der Lizenz Apache-2.0 veröffentlicht und wurde zuletzt am 15. November 2026 auf GitHub aktualisiert.

Run 290B+ frontier MoE models on your own gaming PC at interactive speed

★ 17,2 Tsd. Sterne⑂ 1,7 Tsd. ForksApache-2.0aktualisiert Nov 2026
▦ Visual — das README dieses Projekts enthält keinen einbettbaren Screenshot,
darum hier ein Platzhalter. Die Anleitung unten ist trotzdem vollständig.
// projektdaten

Projektdaten

GitHub-Sterne
17.211
Forks
1.705
Lizenz
Apache-2.0
Zuletzt auf GitHub aktualisiert
15. November 2026
Kategorie
Lokale LLMs
Eintragstyp
Vollständige Installationsanleitung
Offizielle Website
Official site
// so funktioniert es

So funktioniert es

  1. Clone the repo

    Get the source and move into the project folder.

  2. Install it

    Install with uv, including the acceleration extras.

  3. Pick a model

    Choose a supported open-weight MoE model and follow the README serving example.

  4. Serve it

    Run the engine and point your client at it.

// funktionen

Warum es so beliebt ist

Frontier MoE on consumer hardware

290B+ open-weight MoE models on a gaming PC, per the project’s own claim.

Bandwidth-adaptive co-execution

CPU-GPU co-execution that adapts to the bandwidth your machine actually has.

Semantic-aware caching

Semantic anchor checkpoints for recurrent state and KV caches, so agentic context edits skip recomputation.

Elastic memory

Dynamic VRAM re-allocation between expert caches and KV memory, without restarts or weight reloading.

Broad MoE support

DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2 and other frontier open-weight MoE models.

Fast weight format

The FTW fast weight format plus double-buffered prefill streaming for interactive speeds.

// selbst ausführen

Führe es selbst aus

  1. Step 1 — Clone the repo

    Download the source and move into the folder.

    git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
  2. Step 2 — Install it

    Install in editable mode with the acceleration extras.

    uv pip install -e ".[accel]"
  3. Step 3 — Start serving

    Pick a supported model and follow the README serving example.

    # see README for the exact serve command and model flags
// anwendungsfälle

Was du damit bauen kannst

  • Run a 290B+ open-weight MoE model on hardware you already own.
  • Serve frontier models locally for agents without a datacenter bill.
  • Keep long agent contexts cheap with semantic-aware KV caching.
  • Reallocate VRAM between experts and KV memory without restarting.

For comparison, the same shelf also holds llama.cpp — LLM inference in C/C++ and colibri — Tiny C engine that runs huge MoE models on the. The complete list is the Local LLM shelf. Before running a model locally, check how much VRAM you need for local LLMs — model size has to match your hardware.

// häufige fragen

Häufige Fragen

What is FreeToken?

An edge-native MoE serving engine that runs frontier-scale open-weight models on personal and consumer hardware.

Which models does it support?

Frontier open-weight MoE models including DeepSeek-V4-Flash, Qwen3.6-35B-A3B and GLM-5.2.

Do I need a datacenter GPU?

No — that is the point: it treats your GPU, CPU, host memory and interconnects as one elastic inference platform.

Is it free?

Yes, Apache-2.0 licensed. You still need the model weights, which you download yourself.

How do I install it?

Clone the repo and install with uv, including the [accel] extras; the README has the serving examples.

// weiter entdecken

Ähnliche Tools

Lokale LLMs

llama.cpp

LLM inference in C/C++

★ 130,2 Tsd. SterneMIT
Anleitung ansehen →
Lokale LLMs

colibri

Tiny C engine that runs huge MoE models on the machine you already own — GLM, Kimi K3, DeepSeek, Qwen, Apache-2.0

★ 49,3 Tsd. SterneApache-2.0
Anleitung ansehen →
Lokale LLMs

GPT4All

GPT4All — run local LLMs on any device: a free desktop chat client and Python SDK that run open models entirely on your CPU, no GPU or cloud required

★ 77,4 Tsd. SterneMIT
Anleitung ansehen →
Lokale LLMs

Ollama

The simplest way to run open language models on your own machine.

★ 182,1 Tsd. SterneMIT
Anleitung ansehen →
Lokale LLMs

kalosm

Run controllable pre-trained AI models locally, written in Rust.

★ 2,2 Tsd. SterneApache-2.0
Anleitung ansehen →
Lokale LLMs

whatcanirun

Find the best local models for your hardware — and how to run them.

★ 247 SterneMIT
Anleitung ansehen →
// alternativen

Alternativen im Bereich Lokale LLMs

Die anderen Projekte der Kategorie Lokale LLMs mit den meisten Sternen im LibreAI-Katalog — die realistische Auswahl, falls FreeToken nicht das Richtige ist.

  • Ollama★ 182,1 Tsd.

    The simplest way to run open language models on your own machine.

  • Open Webui★ 153,9 Tsd.

    User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

  • llama.cpp★ 130,2 Tsd.

    LLM inference in C/C++

  • vLLM★ 93,1 Tsd.

    A high-throughput and memory-efficient inference and serving engine for LLMs

  • lobehub★ 83,0 Tsd.

    🤯 LobeHub is your Chief Agent Operator, organizing your agents into 7×24 operations by hiring, scheduling, and reporting on your entire AI team.

// mehr in local-llm

Mehr in Lokale LLMs

Verwandte Projekte der Kategorie Lokale LLMs im Katalog, die FreeToken bei den Sternen am nächsten stehen — zum Weiterstöbern auf beiden Seiten.

  • Web LLM★ 19,2 Tsd.

    High-performance In-browser LLM Inference Engine

  • Qwen3-Coder★ 16,8 Tsd.

    Qwen3-Coder - Alibaba's open code model series for agentic coding, up to 1M tokens of context

  • GPT-OSS★ 20,5 Tsd.

    GPT-OSS — OpenAI open-weight language models: gpt-oss-120b for production reasoning and gpt-oss-20b for local use, Apache-2.0

  • MNN★ 16,2 Tsd.

    Alibaba's lightweight, blazing-fast inference engine for on-device LLMs and edge AI.

  • omlx★ 22,6 Tsd.

    A fast LLM inference server for Apple Silicon, managed from the macOS menu bar

  • nano-vllm★ 15,7 Tsd.

    A lightweight vLLM implementation built from scratch in about 1,200 readable lines of Python.

Hol dir FreeToken

Kostenlos und offen — hol dir den Quellcode, gib dem Repository einen Stern und leg los.