LibreAI / Entwickler-Tools / LM Evaluation Harness

// devtools · EleutherAI/lm-evaluation-harness

LM Evaluation Harness

LM Evaluation Harness ist ein Open-Source-Projekt aus der Kategorie Entwickler-Tools von EleutherAI (EleutherAI/lm-evaluation-harness auf GitHub). Es hat 14.371 Sterne auf GitHub und 3.750 Forks, wird unter der Lizenz MIT veröffentlicht und wurde zuletzt am 14. September 2026 auf GitHub aktualisiert.

LM Evaluation Harness — EleutherAI framework for few-shot evaluation of language models across many tasks, MIT

★ 14,4 Tsd. Sterne⑂ 3,8 Tsd. ForksMITaktualisiert Sep 2026

Auf GitHub ansehen ↗Official site ↗

▦ Visual — das README dieses Projekts enthält keinen einbettbaren Screenshot,
darum hier ein Platzhalter. Die Anleitung unten ist trotzdem vollständig.

// projektdaten

Projektdaten

Repository: EleutherAI/lm-evaluation-harness
GitHub-Sterne: 14.371
Forks: 3.750
Lizenz: MIT
Zuletzt auf GitHub aktualisiert: 14. September 2026
Kategorie: Entwickler-Tools
Eintragstyp: Vollständige Installationsanleitung
Offizielle Website: Official site

// so funktioniert es

So funktioniert es

Install the harness
Clone the repository and install it in editable mode, or install the package and add the backend you need.
Add your model backend
Install the Hugging Face backend for Transformers models, the vLLM backend for fast local serving, or the API backend for hosted models.
Run evaluations across tasks
Point the harness at your model and a task set, and compare results on the same benchmarks other models report.

// funktionen

Warum es so beliebt ist

Few-shot evaluation, standardised

A shared framework for running models on benchmark tasks, so numbers are comparable across models and papers.

Many model backends

Transformers, vLLM, API models and GGUF via the Hugging Face backend — one tool for local and hosted models.

A lighter install

The base package no longer drags in Transformers and Torch; backends install separately as extras.

The community benchmark tool

From EleutherAI, the research group behind widely used evaluation practice — the harness is the default eval runner in much of the open-model world.

// selbst ausführen

Führe es selbst aus

Install from source

The README install route: shallow clone, then editable install.

git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness
cd lm-evaluation-harness
pip install -e .

Add the Hugging Face backend
For Transformers models, including quantised and GGUF models.
```
pip install "lm_eval[hf]"
```
Add the vLLM backend
For fast local evaluation serving.
```
pip install "lm_eval[vllm]"
```

// anwendungsfälle

Was du damit bauen kannst

Benchmarking an open model against standard tasks before release
Comparing fine-tunes and quantisations on the same evaluation suite
Reproducing published few-shot evaluation numbers
Evaluating API models alongside local models with one tool

// häufige fragen

Häufige Fragen

Who makes the LM Evaluation Harness?

EleutherAI, the open AI research group.

Is it free?

Yes — MIT licensed.

Does the base install include Transformers and Torch?

No — since late 2025 those install separately as backends (lm_eval[hf], lm_eval[vllm], lm_eval[api]) to keep the base light.

Can it evaluate GGUF models?

Yes — GGUF-format models are supported through the Hugging Face backend.

How do I get started?

Clone, pip install -e ., add the backend for your model, and run evaluations across your chosen tasks.

// weiter entdecken

Alternativen im Bereich Entwickler-Tools

Die anderen Projekte der Kategorie Entwickler-Tools mit den meisten Sternen im LibreAI-Katalog — die realistische Auswahl, falls LM Evaluation Harness nicht das Richtige ist.

OpenCode★ 211,6 Tsd.
The open source coding agent
Transformers★ 166,9 Tsd.
The model-definition framework behind modern AI — thousands of pretrained transformers for text, vision, and audio.
claude-code★ 149,7 Tsd.
Anthropic's agentic coding tool that lives in your terminal and works across your whole codebase
cc-switch★ 141,3 Tsd.
Cross-platform desktop all-in-one manager for Claude Code, Codex, OpenCode and other coding agents
codex★ 128,2 Tsd.
OpenAI's lightweight coding agent that runs locally in your terminal

// mehr in devtools

Mehr in Entwickler-Tools

Verwandte Projekte der Kategorie Entwickler-Tools im Katalog, die LM Evaluation Harness bei den Sternen am nächsten stehen — zum Weiterstöbern auf beiden Seiten.

easy-dataset★ 15,0 Tsd.
Turn domain documents into high-quality LLM fine-tuning, RAG and evaluation datasets through a visual UI.
context-engineering-intro★ 13,9 Tsd.
Context engineering is the new vibe coding - it's the way to actually make AI coding assistants work. Claude Code is the best for this so that's what this re…
superset★ 15,0 Tsd.
Agentic IDE that runs 100+ parallel coding agents in isolated workspaces on your own subscriptions.
litgpt★ 13,7 Tsd.
20+ high-performance LLMs implemented from scratch, with proven recipes to pretrain, finetune and deploy.
Skill_Seekers★ 15,1 Tsd.
Convert documentation sites, GitHub repos and PDFs into Claude AI skills and RAG-ready knowledge assets.
MiMo-Code★ 13,6 Tsd.
Xiaomi's terminal-native AI coding assistant where models and agents co-evolve, with project memory.

Hol dir LM Evaluation Harness

Kostenlos und offen — hol dir den Quellcode, gib dem Repository einen Stern und leg los.

Auf GitHub ansehen ↗← Mehr Tools: Entwickler-Tools

LM Evaluation Harness

Projektdaten

So funktioniert es

Warum es so beliebt ist

Few-shot evaluation, standardised

Many model backends

A lighter install

The community benchmark tool

Führe es selbst aus

Was du damit bauen kannst

Häufige Fragen

Ähnliche Tools

evalscope

llm-course

Portkey AI Gateway

inspector

little-coder

arc-kit

Alternativen im Bereich Entwickler-Tools

Mehr in Entwickler-Tools

Hol dir LM Evaluation Harness