1s.xyz LLM周辺用語 教科書

表紙用語集

用語集

本書に出てくる約120語を、ひとことの説明と関連する章へのリンクつきで。検索ボックスに打つと、その場で絞り込めます。

約17分で読めます2026年10月改訂

123 語を収録

A

A2A Agent2Agent

異なるベンダーのAIエージェント同士が、互いの能力を知らせ合い、仕事を依頼し合うための通信プロトコル。エージェントと道具をつなぐMCPに対し、エージェント同士をつなぐ。

→ 第20章

Accelerate

Hugging Faceのライブラリ。同じPyTorchの学習コードを、1GPU・複数GPU・複数ノードで動かせるようにする。

→ 第14章

Adapter アダプター

元のモデルに小さな追加部品を差し込み、その部分だけを学習する微調整の総称。LoRAはその代表。

→ 第13章

Agent Skills

手順書やスクリプトを SKILL.md を中心にまとめ、必要になったときだけ読み込ませる、エージェントの能力追加の仕組み。

→ 第20章・第28章

AGENTS.md

コーディングエージェント向けに、リポジトリのビルド方法や約束ごとを書いておく指示ファイルの形式。多くのツールが読み込む。

→ 第28章

API

プログラムから機能を呼び出すための窓口。LLMでは、提供元のサーバーに文章を送って生成結果を受け取る形が一般的。

→ 第1章・第20章

Apple Silicon

AppleのMシリーズなどのチップ。CPUとGPUが同じメモリ（ユニファイドメモリ）を共有するため、大きなモデルをGPUで扱いやすい。

→ 第17章・第18章

Attention アテンション / 注意機構

文中のどのトークンがどのトークンと関係するかを計算し、重み付けして情報を集める仕組み。Transformerの中核。

→ 第1章・第15章

AWQ Activation-aware Weight Quantization

活性化（入力側の値）の大きさを見て、重要な重みを守りながら4bitなどに量子化する手法。

→ 第10章

B

Base model ベースモデル

事前学習だけを終えた、指示に従う調整をしていないモデル。文章の続きを書くのは得意だが、質問に素直に答えるとは限らない。

→ 第2章・第12章・第21章

Batching バッチ処理

複数のリクエストをまとめて計算し、GPUを効率よく使うこと。到着順に出入りさせるのが継続的バッチ処理（continuous batching）。

→ 第15章

Benchmark ベンチマーク

モデルの能力を比べるための共通テスト。問題の流出（汚染）や満点続出（飽和）に注意して読む必要がある。

→ 第30章

BF16 bfloat16

16bitの浮動小数点形式の一つ。FP16より表せる数の範囲が広く、学習や推論の標準的な精度として広く使われる。

→ 第10章

BitNet

重みを-1・0・+1の三値（約1.58bit）で表すように最初から学習する、Microsoftの研究系列。

→ 第11章

BM25

単語の出現頻度にもとづく古典的なキーワード検索のスコア計算法。RAGでベクトル検索と組み合わせる（ハイブリッド検索）ことが多い。

→ 第19章

C

Chat template チャットテンプレート

会話を「システム」「ユーザー」「アシスタント」の役割ごとに区切ってモデルに渡すための書式。モデルごとに決まっていて、間違えると出力が崩れる。

→ 第2章・第23章

Checkpoint チェックポイント

学習途中や学習後の重みを保存したもの。「モデルファイル」とほぼ同じ意味で使われることも多い。

→ 第2章・第21章

Chunking チャンク分割

RAGのために文書を検索しやすい大きさの断片に切り分けること。切り方が検索の精度を大きく左右する。

→ 第19章

Context engineering コンテキストエンジニアリング

モデルに渡す情報（指示・履歴・検索結果・ツールの結果など）を、限られたコンテキストの中でどう選び並べるかを設計すること。

→ 第28章

Context length コンテキスト長

モデルが一度に扱える入力と出力のトークン数の上限。コンテキストウィンドウとも。

→ 第2章・第15章

Continued pre-training 継続事前学習

できあがったモデルに、特定の言語や分野の大量の文章で事前学習を追加すること。

→ 第12章

CUDA

NVIDIAのGPUを汎用計算に使うためのプラットフォーム。LLMのソフトウェアの多くがまずCUDA向けに作られる。

→ 第18章

D

Decode デコード

推論のうち、トークンを1つずつ生成していく段階。メモリの読み出し速度（帯域）が速さを決めやすい。

→ 第6章・第15章・第17章

DeepSpeed

Microsoftの大規模学習ライブラリ。ZeROという手法で、重みや勾配を複数GPUに分けてメモリを節約する。

→ 第14章

DFlash

ブロック拡散モデルで下書きを1回の計算でまとめて作る、投機的デコーディングの手法（2026年発表）。

→ 第16章

DirectML

Windows上でさまざまなGPUを使って機械学習を動かすためのMicrosoftのAPI。

→ 第18章

Distillation 蒸留

大きなモデル（先生）の出力を手本に、小さなモデル（生徒）を学習させること。

→ 第12章・第21章・第27章

DPO Direct Preference Optimization

「良い回答」と「悪い回答」のペアから直接モデルを調整する選好学習の手法。報酬モデルを別に作らずに済む。

→ 第12章

Draft model ドラフトモデル

投機的デコーディングで、先回りしてトークン列の下書きを作る小さなモデル。

→ 第16章

E

EAGLE

本命モデルの内部の特徴量を使って下書きを作る、投機的デコーディングの手法の系列。

→ 第16章

Embedding 埋め込み

文章や単語の意味を数値のベクトルで表したもの。意味が近いものほどベクトルも近くなる。

→ 第19章

Evals 評価

自分のアプリや用途に合わせて作るテスト一式。ベンチマークより実際の使い方に近い判断材料になる。

→ 第30章

F

FlashAttention

GPUのメモリの読み書きを減らすよう計算順序を工夫した、高速なアテンションの実装。

→ 第15章

FP16

16bitの浮動小数点形式。重み1個あたり2バイトで、モデルの元の精度としてよく使われる。

→ 第10章

FP8

8bitの浮動小数点形式。新しいGPUが計算に対応しており、推論や学習の高速化に使われる。

→ 第10章

FSDP Fully Sharded Data Parallel

PyTorchの分散学習の仕組み。重み・勾配・最適化状態を複数GPUに分割して持つ。

→ 第14章

Function calling 関数呼び出し / ツール利用

モデルが「この関数をこの引数で呼んでほしい」という指示を構造化して出力する仕組み。実際の実行はアプリ側が行う。

→ 第20章・第21章

G

GGUF

llama.cpp系で使うモデルファイル形式。重み・トークナイザ・設定を1ファイルにまとめ、量子化した重みを収められる。

→ 第4章・第5章

GPTQ

少量のデータで誤差を補正しながら重みを4bitなどに量子化する、学習後量子化の代表的な手法。

→ 第10章

GPU

大量の単純な計算を並列にこなすプロセッサ。LLMの学習と推論の主力。

→ 第17章

GQA Grouped-Query Attention

複数の問い合わせ（Query）ヘッドでKeyとValueのヘッドを共有し、KVキャッシュを小さくするアテンションの方式。

→ 第15章

GRPO

同じ問題への複数の回答を比べて相対的な良し悪しで学習する強化学習の手法。推論モデルの学習で注目された。

→ 第27章

H

Hallucination ハルシネーション

事実と異なる内容を、もっともらしく生成してしまう現象。

→ 第19章・第30章

Hugging Face

モデルやデータセットの共有サイト（Hub）と、transformersなどのライブラリを提供する企業。

→ 第3章

I

imatrix 重要度行列

llama.cppの量子化で、どの重みが出力に効くかを事前に測ったデータ。低ビット量子化の品質を上げる。

→ 第5章・第10章

Inference 推論

学習済みのモデルを使って出力を計算すること。

→ 第1章・第6章

Instruct model インストラクトモデル

指示に従って答えるように追加学習されたモデル。チャットで使うのは通常こちら。

→ 第2章・第12章・第21章

INT4 / INT8

4bit・8bitの整数で重みなどを表す量子化の形式。

→ 第10章

K

KV cache KVキャッシュ

過去のトークンについて計算したKeyとValueを保存しておく仕組み。文脈が長いほど、同時リクエストが多いほど大きくなる。

→ 第15章

L

llama.cpp

C/C++製の軽量な推論ランタイム。CPU・GPU・Apple Siliconなどで動き、GGUF形式を扱う。

→ 第7章

LLM 大規模言語モデル

大量の文章で学習し、次のトークンを予測し続けることで文章を生成するモデル。

→ 第1章

LLM-as-a-judge

LLMに回答の良し悪しを採点させる評価方法。手軽だが、長い回答を好むなどの偏りがある。

→ 第30章

LM Studio

GUIでモデルを探してダウンロードし、チャットやローカルAPIサーバーとして使えるデスクトップアプリ。

→ 第8章・第23章

LoRA ローラ

元の重みを凍結し、低ランクの小さな行列だけを学習する微調整法。

→ 第13章

M

MCP Model Context Protocol

AIアプリと外部のツールやデータをつなぐための共通規格。2024年11月にAnthropicが公開し、2025年12月にLinux Foundation傘下のAgentic AI Foundationへ寄贈された。

→ 第20章・第28章

Metal

AppleのGPU向けのAPI。macOSでのllama.cppやMLXのGPU計算に使われる。

→ 第18章

MLA Multi-head Latent Attention

KeyとValueを小さな潜在ベクトルに圧縮して保存し、KVキャッシュを大幅に減らすアテンションの方式。DeepSeekのモデルで使われる。

→ 第15章

MLX

Apple Silicon向けの機械学習フレームワーク。mlx-lmでLLMの実行や微調整ができる。

→ 第8章・第18章

MoE Mixture of Experts

多数の専門家ブロックのうち、トークンごとに一部だけを使う構造。総パラメータに比べて計算が軽い。

→ 第26章

MTP Multi-Token Prediction

1回に複数先のトークンも予測するよう学習する手法。投機的デコーディングの下書きとしても使える。

→ 第16章

Multimodal マルチモーダル

文章に加えて画像・音声・動画なども扱えること。

→ 第29章

MXFP4

32個の4bit浮動小数点値ごとに共通の倍率を持つ形式（マイクロスケーリング）。1値あたり約4.25bit。

→ 第10章

N

NPU

AI推論向けに作られた省電力のプロセッサ。PCやスマホに内蔵されることが多い。

→ 第17章

NVFP4

NVIDIAの4bit浮動小数点形式。16個ごとにFP8の倍率を持ち、1値あたり約4.5bit。

→ 第10章

NVIDIA Dynamo

vLLMやSGLangなどの推論エンジンの上で、プリフィルとデコードの分離やKVキャッシュを意識した振り分けを行うNVIDIAの分散推論基盤。

→ 第9章

O

Ollama オラマ

コマンド1つでモデルの取得と実行ができるローカルLLMツール。APIサーバーとしても使える。

→ 第8章・第23章

ONNX

機械学習モデルを異なるフレームワークや実行環境で共有するための形式。

→ 第4章

Open WebUI

OllamaやOpenAI互換APIにつないで使える、ブラウザ型のチャットUI。

→ 第8章

Open weights オープンウェイト

重みが公開されていてダウンロードできるモデル。学習データやコードまで公開されているとは限らない。

→ 第1章・第3章・第21章

OpenAI-compatible API OpenAI互換API

OpenAIのAPIと同じ形のリクエストを受け付けるAPI。多くのローカルツールが提供し、既存のクライアントをそのまま使える。

→ 第8章・第23章

P

PagedAttention

KVキャッシュを小さなブロックに分けて管理し、メモリの無駄をなくす仕組み。vLLMで導入された。

→ 第9章・第15章

Parameter パラメータ

学習で決まるモデル内部の数値。重みとほぼ同じ意味。「8B」は約80億個。

→ 第2章

PEFT Parameter-Efficient Fine-Tuning

一部のパラメータだけを学習する省資源な微調整の総称。Hugging Faceの同名ライブラリもある。

→ 第13章・第14章

Perplexity パープレキシティ

モデルが文章をどれだけ「意外に思わずに」予測できるかの指標。低いほど予測がうまい。

→ 第10章・第30章

Pre-training 事前学習

大量の文章で次のトークン予測を学習し、言語能力と知識の土台を作る最初の学習。

→ 第12章

Prefill プリフィル

推論のうち、入力された文章をまとめて読み込んでKVキャッシュを作る段階。計算量が速さを決めやすい。

→ 第6章・第15章

Prefix caching プレフィックスキャッシュ

共通の書き出し（システムプロンプトなど）のKVキャッシュを使い回して、計算を省く仕組み。

→ 第15章・第28章

Prompt injection プロンプトインジェクション

Webページや文書に紛れ込ませた指示で、AIに本来の指示と違う行動をさせる攻撃。

→ 第20章・第28章

Q

QAT 量子化を考慮した学習

量子化されることを前提に学習（または追加学習）して、量子化後の性能低下を抑える方法。

→ 第10章・第11章

QLoRA

4bitに量子化した元モデルの上でLoRAを学習する手法。少ないGPUメモリで大きなモデルを微調整できる。

→ 第13章

Quantization 量子化

重みなどの数値を少ないビット数で表し、モデルを小さく速くする技術。

→ 第10章

R

RAG 検索拡張生成

関連文書を検索して入力に添え、それを根拠に答えさせる仕組み。

→ 第19章

Reasoning model 推論モデル

答える前に思考過程を長く生成してから答えるように学習されたモデル。

→ 第27章

Reranker リランカー

検索で集めた候補を、質問との関連度で並べ直すモデル。RAGの精度を上げる。

→ 第19章

RLHF

人間の好みのデータから報酬モデルを作り、強化学習でモデルを調整する手法。

→ 第12章

RLVR 検証可能な報酬による強化学習

数学の正解やテストの合否のように機械的に確かめられる報酬で学習する強化学習。推論モデルの学習で広く使われる。

→ 第27章

ROCm

AMDのGPUで汎用計算をするためのソフトウェア基盤。CUDAに相当する。

→ 第18章

S

safetensors

重みを安全かつ高速に読み込むためのファイル形式。読み込み時に任意のコードが実行される心配がない。

→ 第4章

Sampling サンプリング

次のトークンの確率分布から、実際に1つを選ぶこと。温度やtop-pで性質を調整する。

→ 第2章

SFT 教師ありファインチューニング

指示と模範解答の組で追加学習し、指示に従う振る舞いを身につけさせること。

→ 第12章

SGLang

サーバー向けの高速なLLM推論エンジン。プレフィックスの使い回しなどに強い。

→ 第9章

Speculative decoding 投機的デコーディング

下書きを先に作り、本命モデルがまとめて検証することで、出力を変えずに生成を速くする手法。

→ 第16章

System prompt システムプロンプト

会話の最初に置く、モデルの役割やルールを指定する指示文。

→ 第2章・第28章

T

Temperature 温度

次のトークンを選ぶときのランダムさを調整する値。低いと手堅く、高いと多様になる。

→ 第2章

Tensor テンソル

多次元の数値の配列。重みはテンソルの集まりとして保存される。

→ 第2章・第4章

Tensor parallelism テンソル並列

1つの層の計算を複数のGPUに分割して同時に行う並列化の方法。

→ 第9章

TensorRT-LLM

NVIDIAのGPU向けに最適化されたLLM推論ライブラリ。

→ 第9章

Ternary 三値

重みを-1・0・+1の3つの値だけで表すこと。1つあたりの情報量は約1.58bit。

→ 第11章

Test-time compute 推論時の計算

答えを出す時点でより多く計算（考える・複数案を試す）することで性能を上げる考え方。

→ 第27章

TGI Text Generation Inference

Hugging Faceが開発したサーバー向けのLLM推論サーバー。

→ 第9章

Token トークン

LLMが文章を扱う最小単位。単語や文字のかけら。

→ 第2章

Tokenizer トークナイザ

文章をトークンに分割し、番号（ID）に変換する道具。モデルとセットで使う。

→ 第2章

top-p ニュークリアスサンプリング

確率の高い順に足していき、合計がpに達するまでの候補だけからトークンを選ぶ方法。

→ 第2章

TPU

Googleが自社開発した機械学習向けのプロセッサ。Google Cloudで利用できる。

→ 第17章

Transformer トランスフォーマー

アテンションを中核にしたニューラルネットワークの構造。2017年に提案され、いまのLLMの基本形。

→ 第1章

transformers

Hugging Faceの代表的なPythonライブラリ。多数のモデルを共通の書き方で読み込み、推論や学習ができる。

→ 第3章・第14章

U

Unsloth

LoRAなどの微調整を少ないメモリで速く行うことを目指したオープンソースのライブラリ。

→ 第14章

V

Vector DB ベクトルデータベース

埋め込みベクトルを保存し、近いベクトルを高速に探せるデータベース。

→ 第19章

vLLM

大量のリクエストを効率よくさばくサーバー向けの推論エンジン。PagedAttentionで知られる。

→ 第9章

VLM Vision Language Model

画像を読んで文章で答えられる言語モデル。

→ 第29章

VRAM GPUメモリ

GPU専用のメモリ。重みとKVキャッシュが収まるかで、動かせるモデルの大きさが決まる。

→ 第17章

Vulkan

さまざまなメーカーのGPUで使えるグラフィックス・計算用API。llama.cppのGPUバックエンドの一つ。

→ 第7章・第18章

W

Whisper

OpenAIが公開した音声認識モデル。音声を文字に起こす。

→ 第29章

Windows ML

Windowsに組み込まれた機械学習の実行基盤。ONNX Runtimeをもとに、GPUやNPU向けの実行部品を自動で用意する。

→ 第18章

あ

エージェント えーじぇんと

LLMが行動を選び、ツールを使い、結果を見てまた判断するループで目標を達成するシステム。

→ 第20章・第28章

汚染 おせん / contamination

ベンチマークの問題や答えが学習データに混ざってしまい、実力以上のスコアが出ること。

→ 第30章

重み おもみ / weights

学習で決まるモデル内部の数値の集まり。モデルファイルの中身のほとんど。

→ 第2章

か

学習後量子化 がくしゅうごりょうしか / PTQ

学習が終わったモデルを、追加の学習なしで量子化すること。

→ 第10章

コーディングエージェント こーでぃんぐえーじぇんと

コードを読み、編集し、コマンドやテストを実行しながら開発作業を進めるAIエージェント。

→ 第28章

さ

思考トークン しこうとーくん

推論モデルが答えの前に生成する「考える過程」のトークン。料金や時間に含まれることが多い。

→ 第27章

推論ランタイム すいろんらんたいむ

モデルの重みを読み込み、実際に計算してトークンを出力するソフトウェア。推論エンジンとも。

→ 第6章

は

ハイブリッド検索 はいぶりっどけんさく

キーワード検索とベクトル検索を組み合わせて、両方の長所を活かす検索方法。

→ 第19章

や

ユニファイドメモリ ゆにふぁいどめもり

CPUとGPUが同じメモリを共有する設計。Apple Siliconなどで採用され、大きなモデルを載せやすい。

→ 第17章

出典・参考

各用語の出典は、リンク先の章末の「出典・参考」を参照してください。