// local-llm · microsoft/BitNet

BitNet

BitNet — проект с открытым исходным кодом из категории «Локальные LLM» от microsoft (microsoft/BitNet на GitHub). У него 41 232 звезды на GitHub и 3 837 форков, он распространяется по лицензии MIT и последний раз обновлялся на GitHub 27 июля 2026.

BitNet — Microsoft's official inference framework for 1-bit large language models, running fast on ordinary CPUs, MIT

★ 41,2 тыс. звёзд⑂ 3,8 тыс. форковMITобновлено июль 2026

Смотреть на GitHub ↗Hugging Face collection ↗

▦ визуал — в README этого проекта нет встраиваемого скриншота,
поэтому здесь заглушка. Руководство ниже в любом случае полное.

// факты о проекте

Факты о проекте

Репозиторий: microsoft/BitNet
Звёзды GitHub: 41 232
Форки: 3 837
Лицензия: MIT
Последнее обновление на GitHub: 27 июля 2026
Категория: Локальные LLM
Тип страницы: Полное руководство по установке
Официальный сайт: Hugging Face collection

// как это работает

Как это работает

Clone recursively and create the environment
Clone with submodules, create the recommended conda environment, and install the Python requirements.
Download a 1-bit model
Fetch the official BitNet b1.58 2B GGUF weights from Hugging Face into a local models directory.
Set up the environment and run
Point setup_env.py at the downloaded model with the i2_s quantisation and run inference locally.

// возможности

Почему его любят

1-bit weights, CPU-speed inference

Ternarised weights (-1, 0, 1) shrink the model so far that capable LLMs run fast on ordinary CPUs instead of needing a GPU.

Official Microsoft framework

The reference implementation for BitNet models, with the technical report (arXiv 2502.11880) behind the 1-bit approach.

GPU kernels too

A GPU kernel path exists alongside the CPU-first design for machines that do have a graphics card.

A growing 1-bit family

The same project line now includes 1-bit embeddings and a 1-bit speech-recognition engine (VibeASR.cpp), not just chat models.

// запустите сами

Запустите сами

Clone and install dependencies

The README build route: recursive clone, conda environment, requirements.

git clone --recursive https://github.com/microsoft/BitNet.git
conda create -n bitnet-cpp python=3.10
conda activate bitnet-cpp
pip install -r requirements.txt

Download the model

The official 2B model weights from Hugging Face.

huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T

Set up and run inference
Prepare the model directory for inference with the i2_s quantisation.
```
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
```

// сценарии использования

Что можно создать

Running a capable LLM on a laptop or server with no GPU
Studying 1-bit quantisation — weights, kernels and accuracy trade-offs
Embedding 1-bit inference into CPU-only products and services
Trying the BitNet model family, including embeddings and speech variants

// вопросы и ответы

Вопросы и ответы

Who makes BitNet?

Microsoft, as the official inference framework for its 1-bit LLM research.

Is BitNet free?

Yes — MIT licensed, and the model weights are distributed on Hugging Face under their own terms.

What does 1-bit actually mean?

Model weights are ternarised to just three values (-1, 0, 1) instead of 16-bit floats, which slashes memory and lets CPUs run the model fast.

Do I need a GPU?

No — CPU inference is the point of the framework, though a GPU kernel path exists for machines that have one.

How do I get started?

Clone recursively, set up the conda environment, download the BitNet-b1.58-2B-4T GGUF weights, and run setup_env.py against them.

// продолжить изучение

Альтернативы: Локальные LLM

Другие проекты из категории «Локальные LLM» с наибольшим числом звёзд в каталоге LibreAI — реалистичный список альтернатив, если BitNet вам не подходит.

Ollama★ 182,1 тыс.
The simplest way to run open language models on your own machine.
Open Webui★ 153,9 тыс.
User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
llama.cpp★ 130,2 тыс.
LLM inference in C/C++
vLLM★ 93,1 тыс.
A high-throughput and memory-efficient inference and serving engine for LLMs
lobehub★ 83,0 тыс.
🤯 LobeHub is your Chief Agent Operator, organizing your agents into 7×24 operations by hiring, scheduling, and reporting on your entire AI team.

// ещё в категории local-llm

Больше проектов: Локальные LLM

Соседние проекты из категории «Локальные LLM» в каталоге, ближайшие по числу звёзд к BitNet — продолжайте изучать полку по обе стороны от него.

Fabric★ 44,2 тыс.
Fabric is an open-source framework for augmenting humans using AI. It provides a modular system for solving specific problems using a crowdsourced set of AI …
FastChat★ 39,6 тыс.
An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.
Jan★ 44,8 тыс.
Jan is an open source alternative to ChatGPT that runs 100% offline on your computer
llmfit★ 37,5 тыс.
Hundreds of models & providers. One command to find what runs on your hardware.
Text Generation Webui★ 47,7 тыс.
Open-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private
airllm★ 35,5 тыс.
Run a 70B LLM on a single 4GB GPU — layer-by-layer inference with almost no memory tricks skipped

Получить BitNet

Бесплатно и открыто — забирайте исходный код, ставьте звезду репозиторию и начинайте создавать.

Смотреть на GitHub ↗← Больше инструментов в категории «Локальные LLM»