// local-llm · 0xMassi/webclaw

webclaw

webclawは、0xMassiが公開しているオープンソースのローカルLLMプロジェクトです(GitHub: 0xMassi/webclaw)。GitHubスターは2,366、フォークは235で、AGPL-3.0ライセンスの下で公開されています。GitHubでの最終更新は2026年9月23日です。

Fast Rust scraper that turns web pages into clean data for LLMs.

💎 隠れた名作★ 2.4k スター⑂ 235 フォークAGPL-3.0更新 2026年9月
▦ ビジュアル — このプロジェクトのREADMEには埋め込み可能なスクリーンショットがないため、
ここではプレースホルダーを表示しています。下のガイド自体は完全な内容です。
// プロジェクトの基本情報

プロジェクト基本情報

リポジトリ
0xMassi/webclaw
GitHubスター
2,366
フォーク
235
ライセンス
AGPL-3.0
GitHubでの最終更新
2026年9月23日
カテゴリ
ローカルLLM
掲載タイプ
隠れた名作 — あまり知られていないプロジェクトのための短めのページ
公式サイト
Official site
// 仕組み

仕組み

  1. Install webclaw

    Get the Rust-built binary or build from source.

  2. Point at a page

    Give it a URL to scrape or crawl.

  3. Extract

    Get clean markdown or structured data back.

  4. Feed your LLM

    Pipe results to agents via CLI, API, or MCP.

// 機能

選ばれる理由

Rust speed

Fast extraction with low resource use.

Local-first

Runs on your machine, no cloud required.

HTML to markdown

Clean page conversion for LLMs.

Crawling

Follow links across whole sites.

REST API

Integrate extraction into any stack.

MCP server

Give AI agents direct scraping tools.

Advertisement
// 自分で実行

自分で実行してみる

  1. Step 1 — Clone the repo

    Download the source and move into the project folder.

    git clone https://github.com/0xMassi/webclaw.git
    cd webclaw
  2. Step 2 — Check the README

    Every project documents its own setup; start with install requirements.

    cat README.md | head -60
  3. Step 3 — Run it

    Follow the project's launch command — Docker, pip, npm, or a binary release.

    # see README for the exact launch command
// 活用例

作れるもの

  • Scrape pages for LLM pipelines.
  • Crawl sites into clean markdown.
  • Give agents web-reading tools via MCP.
  • Replace paid scraping APIs locally.
Advertisement
// よくある質問

よくある質問

How is it different from Firecrawl?

It is local-first and open source, so no per-page API fees.

What does AGPL-3.0 mean for me?

Commercial use is allowed, but network use of modified versions requires sharing source.

Can it handle JavaScript sites?

Check the docs for rendering capabilities.

Is there really an MCP server?

Yes, agents can call it through the Model Context Protocol.

Do I need Rust installed?

Only if building from source; binaries avoid that.

// さらに探索

似ているツール

ローカルLLM

vLLM

A high-throughput and memory-efficient inference and serving engine for LLMs

★ 93.1k スターApache-2.0
ガイドを見る →
ローカルLLM

Web LLM

High-performance In-browser LLM Inference Engine

★ 19.2k スターApache-2.0
ガイドを見る →
ローカルLLM

Cactus

Quantization, kernels, runtime and inference engine for mobiles, wearables, smart home and robots

★ 6.1k スターCustom (check repo)
ガイドを見る →
ローカルLLM

WebMCP

Early proposal and implementation for connecting LLMs to web pages.

★ 883 スターMIT
ガイドを見る →
ローカルLLM

BrowserAI

Run local LLMs like Llama and DeepSeek right inside your web browser.

★ 1.5k スターMIT
ガイドを見る →
ローカルLLM

MNN

Alibaba's lightweight, blazing-fast inference engine for on-device LLMs and edge AI.

★ 16.2k スターApache-2.0
ガイドを見る →
// 代替候補

代替候補: ローカルLLM

LibreAIカタログに掲載されたローカルLLMプロジェクトの中で最もスターの多いもの — webclawが合わなかった場合に検討したい、現実的な候補リストです。

  • Ollama★ 182.1k

    The simplest way to run open language models on your own machine.

  • Open Webui★ 153.9k

    User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

  • llama.cpp★ 130.2k

    LLM inference in C/C++

  • vLLM★ 93.1k

    A high-throughput and memory-efficient inference and serving engine for LLMs

  • lobehub★ 83.0k

    🤯 LobeHub is your Chief Agent Operator, organizing your agents into 7×24 operations by hiring, scheduling, and reporting on your entire AI team.

// さらに見る local-llm

さらに見る: ローカルLLM

カタログの中でwebclawとスター数が近いローカルLLMプロジェクト — 前後の棚もそのまま見て回れます。

  • comfyui_LLM_party★ 2.4k

    LLM Agent Framework in ComfyUI includes MCP sever, Omost,GPT-sovits, ChatTTS,GOT-OCR2.0, and FLUX prompt nodes,access to Feishu,discord,and adapts to all llm…

  • WhisperJAV★ 2.3k

    Noise-robust subtitle generator powered by Whisper and local ASR models.

  • TokenSpeed★ 2.5k

    TokenSpeed — a speed-of-light LLM inference engine designed for agentic workloads, with TensorRT-LLM-level performance and vLLM-level usability

  • kalosm★ 2.2k

    Run controllable pre-trained AI models locally, written in Rust.

  • handy-ollama★ 2.5k

    动手学Ollama,CPU玩转大模型部署,在线阅读地址:https://datawhalechina.github.io/handy-ollama/

  • claude-real-video★ 2.2k

    Let any LLM actually watch a video — frames plus transcript, run locally.

webclawを入手する

無料でオープン — ソースコードを入手して、リポジトリにスターを付け、作り始めましょう。