// local-llm · JustVugg/colibri

colibri

colibri — проект с открытым исходным кодом из категории «Локальные LLM» от JustVugg (JustVugg/colibri на GitHub). У него 49 279 звёзд на GitHub и 5 777 форков, он распространяется по лицензии Apache-2.0 и последний раз обновлялся на GitHub 31 октября 2026.

Tiny C engine that runs huge MoE models on the machine you already own — GLM, Kimi K3, DeepSeek, Qwen, Apache-2.0

★ 49,3 тыс. звёзд⑂ 5,8 тыс. форковApache-2.0обновлено окт. 2026
▦ визуал — в README этого проекта нет встраиваемого скриншота,
поэтому здесь заглушка. Руководство ниже в любом случае полное.
// факты о проекте

Факты о проекте

Репозиторий
JustVugg/colibri
Звёзды GitHub
49 279
Форки
5 777
Лицензия
Apache-2.0
Последнее обновление на GitHub
31 октября 2026
Категория
Локальные LLM
Тип страницы
Полное руководство по установке
Официальный сайт
Official site
// как это работает

Как это работает

  1. Check the machine

    You need 8 GB of RAM at minimum (16 GB or more is better), 22 GB free on disk for the smallest model, and an internet connection. A graphics card is optional.

  2. Run the one-step setup

    Clone the repo and run the setup script (START-HERE.bat on Windows). It checks your hardware, recommends a model, builds the engine, downloads the model and starts the dashboard.

  3. Chat or connect apps

    Use ./coli chat in the terminal, the browser dashboard, or point any OpenAI-compatible app at the local server on port 8000.

// возможности

Почему его любят

744B-parameter models on ordinary hardware

Hot experts on GPU, warm ones in RAM, cold ones streamed from NVMe — placement, not brute-force memory.

No GPU required

Runs on CPU, on any GPU through Vulkan, and on NVIDIA cards through CUDA.

Thirteen engines

Chat, coding, vision and image models plus decision models, from GLM and Kimi K3 to DeepSeek and Qwen.

OpenAI and Anthropic compatible APIs

Other apps talk to colibri over standard endpoints.

A dashboard that shows the work

Watch every expert fire as the model answers.

MCP server included

coli mcp lets AI assistants detect hardware, recommend models and manage colibri.

// запустите сами

Запустите сами

  1. Step 1 — Clone the repo

    Download the source and move into the project folder.

    git clone https://github.com/JustVugg/colibri
  2. Step 2 — Run the setup

    From the colibri folder, run the one-step setup: it checks your machine, recommends a model and starts colibri.

    cd colibri && ./start-here.sh
  3. Step 3 — Chat

    Talk to the model in the terminal.

    ./coli chat
// сценарии использования

Что можно создать

  • Run frontier open MoE models without a datacenter GPU
  • Chat with GLM, Kimi K3, DeepSeek and Qwen locally
  • Serve models to other apps over an OpenAI-compatible API
  • Study MoE inference on an open research platform

For comparison, the same shelf also holds atomic-agent — is a local-first AI agent and FreeToken — Run 290B+ frontier MoE models on your own gaming PC. The complete list is the Local LLM shelf. Before running a model locally, check how much VRAM you need for local LLMs — model size has to match your hardware.

// вопросы и ответы

Вопросы и ответы

Do I need a GPU?

No — colibri runs on CPU. Vulkan (any GPU) or CUDA (NVIDIA) speed it up, and the setup picks the fastest build for your machine.

How much RAM and disk do I need?

8 GB of RAM at minimum, 16 GB or more is better; 22 GB disk for the smallest model.

Which models can it run?

GLM-5.2/5.3, Kimi K3, DeepSeek V4/V4.1 Flash, MiMo-V2.6, Qwen3.6/3.8, OLMoE, plus Qwen-Image-2.1 and decision models — thirteen engines.

Is it really free?

Yes — Apache 2.0. You download the model weights from Hugging Face; the engine itself costs nothing.

What is the dashboard?

A browser UI on port 8000 with chat, plus OpenAI- and Anthropic-compatible API endpoints for other apps.

// продолжить изучение

Похожие инструменты

Локальные LLM

atomic-agent

Atomic Agent is a local-first AI agent. Runs open-weight models on your own machine via llama.cpp.

★ 2,7 тыс. звёздMIT
Смотреть руководство →
Локальные LLM

FreeToken

Run 290B+ frontier MoE models on your own gaming PC at interactive speed

★ 17,2 тыс. звёздApache-2.0
Смотреть руководство →
Локальные LLM

Ollama

The simplest way to run open language models on your own machine.

★ 182,1 тыс. звёздMIT
Смотреть руководство →
Локальные LLM

DeepSeek-Coder-V2

DeepSeek-Coder-V2 — DeepSeek's open code model family that challenged closed-source code models.

★ 7,0 тыс. звёздMIT
Смотреть руководство →
Локальные LLM

GPT-OSS

GPT-OSS — OpenAI open-weight language models: gpt-oss-120b for production reasoning and gpt-oss-20b for local use, Apache-2.0

★ 20,5 тыс. звёздApache-2.0
Смотреть руководство →
Локальные LLM

maid

Maid is a free and open source application for interfacing with llama.cpp models locally, and with Anthropic, DeepSeek, Ollama, Mistral and OpenAI models rem…

★ 2,7 тыс. звёздMIT
Смотреть руководство →
// альтернативы

Альтернативы: Локальные LLM

Другие проекты из категории «Локальные LLM» с наибольшим числом звёзд в каталоге LibreAI — реалистичный список альтернатив, если colibri вам не подходит.

  • Ollama★ 182,1 тыс.

    The simplest way to run open language models on your own machine.

  • Open Webui★ 153,9 тыс.

    User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

  • llama.cpp★ 130,2 тыс.

    LLM inference in C/C++

  • vLLM★ 93,1 тыс.

    A high-throughput and memory-efficient inference and serving engine for LLMs

  • lobehub★ 83,0 тыс.

    🤯 LobeHub is your Chief Agent Operator, organizing your agents into 7×24 operations by hiring, scheduling, and reporting on your entire AI team.

// ещё в категории local-llm

Больше проектов: Локальные LLM

Соседние проекты из категории «Локальные LLM» в каталоге, ближайшие по числу звёзд к colibri — продолжайте изучать полку по обе стороны от него.

  • litellm★ 60,1 тыс.

    The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, an…

  • exo★ 47,7 тыс.

    Run frontier AI locally.

  • Unsloth★ 77,2 тыс.

    Run and fine-tune LLMs and diffusion models locally — faster training, smaller memory footprint.

  • Text Generation Webui★ 47,7 тыс.

    Open-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private

  • GPT4All★ 77,4 тыс.

    GPT4All — run local LLMs on any device: a free desktop chat client and Python SDK that run open models entirely on your CPU, no GPU or cloud required

  • Jan★ 44,8 тыс.

    Jan is an open source alternative to ChatGPT that runs 100% offline on your computer

Получить colibri

Бесплатно и открыто — забирайте исходный код, ставьте звезду репозиторию и начинайте создавать.