llama.cppとは何か

llama.cppはどんなプロジェクトか

README が掲げる目標は「最小限のセットアップと最先端の性能で、ローカルでもクラウドでも、幅広いハードウェア上でLLM（とVLM）を推論できるようにすること」。Python や PyTorch の環境を用意しなくても、1つの実行ファイルで動くのが大きな特徴です。

名前に「llama」とありますが、いまは Meta の Llama 専用ではありません。Qwen、Gemma、Mistral、gpt-oss など、数多くのモデル系統に対応しています。最初に動かしたモデルの名前が、そのままプロジェクト名として残っているのです。

Hugging Face への合流について、発表文は「プロジェクトは100%オープンソースのまま、コミュニティ主導で続く」と説明しています。transformers ライブラリとの連携を深め、新しいモデルにより早く対応することが目標に挙がっています。

ggml・GGUF・llama.cpp の関係

llama.cpp まわりでは、似た名前が3つ出てきます。ここを押さえると、ローカルLLMの話が一気に読みやすくなります。

flowchart TD
  G["GGUFファイル
重みとメタ情報"] --> L["llama.cpp
推論エンジン"]
  L --> M["ggml
テンソル計算"]
  M --> B["バックエンド
CPU・CUDA・Metal・Vulkan"]
  L --> T["道具たち
llama cli・llama serve・llama-quantize"]

どこでも動く理由: バックエンドの多さ

llama.cpp の一番の強みは、対応するハードウェアの幅です。README には次のようなバックエンドが並んでいます2026年10月時点。

もう1つの特徴が、CPUとGPUのハイブリッド推論です。VRAMに載りきらない大きなモデルでも、一部の層だけGPUに置き、残りをCPUとメインメモリで計算できます。どの層をGPUに置くかは -ngl（--n-gpu-layers）で指定できますが、いまの既定値は auto です。

さらに既定で --fit on が有効になっていて、指定していない設定をメモリに収まるよう自動調整してくれます。昔の解説記事にある「-ngl 99 を必ず付ける」といった作法は、もう必須ではありません2026年10月時点。

量子化: 小さくして載せる

80億パラメータのモデルを16bitのまま置くと、重みだけで約16GBになります。これを4bit前後に量子化すれば約4〜5GB。多くのノートPCに収まるサイズです。下のウィジェットでパラメータ数とビット幅を変えてみてください。

llama.cpp は 1.5bit から 8bit までの整数量子化に対応しています。Hugging Face で見かける Q4_K_M、Q5_K_M、Q8_0 といった名前は、GGUF の中身の量子化方式を表すラベルです。くわしいしくみは第10章と第11章で扱います。

自分で量子化したいときは、付属の llama-quantize を使います。公式の手順では、まず16bitのGGUFを作り、それを目的の方式に変換します。

# 16bitのGGUFから Q4_K_M に量子化する（tools/quantize の README より）
./build/bin/llama-quantize gemma-4-E2B-it-bf16.gguf gemma-4-E2B-it-Q4_K_M.gguf Q4_K_M

とはいえ、人気のモデルなら量子化済みのGGUFが Hugging Face にたいてい公開されています。最初は自分で量子化せず、それをダウンロードするのが近道です。

使ってみる: llama cli と llama serve

2026年の大きな変化は、入口がずいぶんやさしくなったことです。公式サイト llama.app にワンライナーのインストーラが用意され、llama という1つのコマンドから各機能を呼び出せるようになりました2026年10月時点。

# インストール（macOS・Linux）
curl -LsSf https://llama.app/install.sh | sh

# Hugging Face からモデルを取得して、ターミナルでチャット
llama cli -hf ggml-org/gemma-4-e4b-it-GGUF:Q4_0

# OpenAI互換APIサーバと Web UI を起動
llama serve -hf ggml-org/gemma-4-e4b-it-GGUF:Q4_0

-hf に Hugging Face のリポジトリ名を渡すと、初回だけダウンロードされ、標準の Hugging Face キャッシュに保存されます。手元の GGUF ファイルを使うときは -m my-model.gguf です。Windows では PowerShell 用のインストーラのほか、winget や Homebrew、conda-forge などのパッケージマネージャ、リリースページのビルド済みバイナリも選べます。

従来どおりの個別コマンド llama-cli や llama-server も、ドキュメントの多くの例で使われています。llama serve と llama-server は同じサーバ機能への入口だと考えてかまいません。

起動したサーバには、次のような機能がそろっています2026年10月時点。

• OpenAI互換の chat completions・responses・embeddings と、Anthropic Messages API 互換の窓口
• ブラウザで使える内蔵 Web UI（モデルのダウンロード・管理もできる）
• 複数ユーザーの並列処理と連続バッチ処理
• 画像・音声入力（マルチモーダル）、関数呼び出し（ツール利用）、JSONスキーマで出力形式を縛る機能
• 複数モデルを切り替える「ルーターモード」（--models-dir でフォルダを指定）

Mac と Windows には、llama.cpp チームと Hugging Face が作った常駐アプリ「Llama」も登場しました。メニューバーからモデルを選んで入れるだけで、裏で llama.cpp のサーバが動く、というものです（第8章）。

速さのための仕掛けいろいろ

llama.cpp は「動けばいい」だけのエンジンではありません。最新の高速化技術も次々と取り込んでいます。

推論モデル（第27章）の「考える」部分を止める -rea off や、考える量に上限を付ける --reasoning-budget といったオプションも用意されています。

llama.cppの上に建つ家々

llama.cpp は、ほかのアプリに組み込まれることでさらに広がりました。ライブラリとして C の API（libllama）を公開しているので、他のソフトがエンジンとして使えるのです。

flowchart TD
  E["llama.cpp と ggml"] --> O["Ollama"]
  E --> S["LM Studio"]
  E --> J["Jan"]
  E --> A["Llama アプリ
公式"]
  E --> X["そのほか多数の
アプリ・ライブラリ"]

Ollama は README の「Supported backends」に llama.cpp を挙げ、LM Studio や Jan もGGUFモデルの実行に llama.cpp を使っています2026年10月時点。アプリを乗り換えても、同じ GGUF ファイルがたいてい使い回せるのはこのためです。

得意なこと・苦手なこと

つまり llama.cpp は「家庭用の万能エンジン」です。大勢に配るサービスを作るなら、第9章のサーバ向けエンジンと比べて選ぶのがよいでしょう。

次に読む章

• 第8章 Ollama / LM Studio / Open WebUI / Jan など — llama.cpp を包むアプリたち
• 第10章 量子化 — Q4_K_M の中身を知る
• 第23章 ローカルLLMを触る最短ルート — 実際に手を動かす