1s.xyz LLM周辺用語 教科書

第13部 付録第22章

最低限これだけ覚えればよい用語30選

LLMの話に出てくる言葉は何百とありますが、会話の8割はこの30語で回っています。第1章の「6つの層」ごとに、ひとことの説明と詳しい章へのリンクを並べました。

約10分で読めます2026年10月改訂

このページの内容（9項目）
  1. ① まず押さえる基本（5語）
  2. ② 学習（4語）
  3. ③ モデル（6語）
  4. ④ 形式と置き場所（4語）
  5. ⑤ 実行（6語）
  6. ⑥ アプリ（5語）
  7. 30語を「1枚の図」にすると
  8. さらに深く学ぶ
  9. 出典・参考

英単語帳の最初の1ページだけ覚えれば、意外と会話になる。

LLMの用語も同じです。ここに挙げた30語を「だいたいこういう意味で、この層の仲間」と言えれば、ニュースも技術記事もぐっと読みやすくなります。1語あたり1分、全部で30分くらいが目安です。

読み方

各カードの「→」の先が、その言葉を詳しく説明している章です。まず基本の5語、そのあとは第1章の層の順（②学習 ③モデル ④形式 ⑤実行 ⑥アプリ）に並べています。最後に、覚えたかどうかを確かめるクイズがあります。

① まず押さえる基本（5語）

1. LLM 大規模言語モデル

大量の文章で学習し、「次に来るトークン」を予測し続けることで文章を生み出すモデル。チャットAIの頭脳部分。→ 第1章

2. トークン token

LLMが文章を扱うときの最小単位。単語や文字のかけらで、日本語では1文字が1トークン前後になることが多い。料金や長さの上限はトークン数で数える。→ 第2章

3. コンテキスト長 context length / context window

モデルが一度に読める入力（と出力）の長さの上限。会話の履歴も添付文書も、全部ここに収まる必要がある。→ 第2章・第15章

4. 温度 temperature

次のトークンを選ぶときの「ばらつき」のつまみ。低いと手堅く同じような答え、高いと多様だが脱線しやすい。→ 第2章

5. ハルシネーション hallucination

もっともらしいが事実と違う内容を、自信ありげに生成してしまう現象。LLMが「それらしい続き」を作る仕組みである以上、ゼロにはできない。RAGや検証で減らす。→ 第19章・第30章

② 学習（4語）

6. 事前学習 pre-training

膨大な文章で「次のトークン予測」をひたすら練習させ、言語や知識の土台を作る最初の学習。最もお金と時間がかかる段階。→ 第12章

7. ファインチューニング / SFT fine-tuning / supervised fine-tuning

できあがったモデルに、質問と模範解答の組などを追加で学習させ、特定の振る舞いを身につけさせること。SFTはその代表的なやり方。→ 第12章

8. 選好学習（RLHF / DPO） preference tuning

「AとBの回答、どちらが良いか」という人間などの好みをもとにモデルを調整する学習。役に立ち、安全な答え方を身につけさせるのに使われる。→ 第12章

9. LoRA ローラ / Low-Rank Adaptation

元の重みは凍結したまま、小さな追加の行列だけを学習する省エネな微調整法。成果物が小さく、付け外しできる。量子化と組み合わせたものがQLoRA。→ 第13章

③ モデル（6語）

10. パラメータ / 重み parameters / weights

学習によって決まる、モデル内部の膨大な数値。「8B」は約80億個という意味。モデルファイルの中身のほとんどはこれ。→ 第2章

11. トークナイザ tokenizer

文章をトークンに切り分け、番号（ID）に変換する道具。モデルとセットで使い、別のモデルのものとは基本的に交換できない。→ 第2章

12. Transformer トランスフォーマー

いまのLLMのほとんどが採用している構造。文中のどこに注目すべきかを計算する「アテンション（注意機構）」が中核。→ 第1章

13. MoE Mixture of Experts

たくさんの「専門家」ブロックを持ち、トークンごとに一部だけを使う構造。総パラメータは大きいのに、1トークンあたりの計算は軽い。→ 第26章

14. 推論モデル reasoning model

答える前に考える過程（思考トークン）を長く生成してから答えるモデル。数学やコードに強い一方、時間とトークンを多く使う。→ 第27章

15. マルチモーダル multimodal

文章だけでなく画像・音声・動画なども入力（や出力）できること。画像を読めるモデルはVLM（Vision Language Model）とも呼ぶ。→ 第29章

④ 形式と置き場所（4語）

16. Hugging Face ハギングフェイス

モデルやデータセットが集まる公開リポジトリ（Hub）と、それを使うためのライブラリ群を提供する企業・サービス。「モデルのGitHub」のような場所。→ 第3章

17. safetensors セーフテンソーズ

重みを安全かつ高速に読み込むためのファイル形式。読み込むだけで任意のコードが実行されてしまう危険がない。Hugging Face上の標準的な形式。→ 第4章

18. GGUF ジージーユーエフ

llama.cpp系のツールで使う1ファイル完結型のモデル形式。重み・トークナイザ・設定をまとめて持ち、量子化された重みを収められる。→ 第5章

19. 量子化 quantization

重みの数値を少ないビット数で表して、モデルを小さく速くする技術。16bitを4bit台にすると、重みのサイズはおよそ3分の1以下になる。→ 第10章

⑤ 実行（6語）

20. 推論ランタイム inference runtime / engine

モデルの重みを読み込み、実際に計算してトークンを出すソフトウェア。モデルが楽譜なら、ランタイムは演奏者。→ 第6章

21. llama.cpp

C/C++で書かれた軽量な推論ランタイム。CPUでもGPUでも動き、ローカルLLMの土台として多くのツールに組み込まれている。→ 第7章

22. Ollama オラマ

コマンド1つでモデルのダウンロードから実行までできる、ローカルLLMの定番ツール。ほかのアプリから呼べるAPIサーバーにもなる。→ 第8章

23. vLLM

大勢のリクエストを同時に効率よくさばくための、サーバー向け推論エンジン。PagedAttentionというメモリ管理の工夫で知られる。→ 第9章

24. KVキャッシュ KV cache

過去のトークンについての計算結果（KeyとValue）を保存しておき、毎回計算し直さずに済ませる仕組み。文脈が長いほどメモリを食う。→ 第15章

25. VRAM GPUメモリ

GPUに載っている専用メモリ。「重み＋KVキャッシュ」が収まるかどうかで、そのGPUで動かせるモデルの大きさが決まる。Apple Siliconなどではメインメモリと共有。→ 第17章

⑥ アプリ（5語）

26. RAG 検索拡張生成

質問に関係する文書を検索して入力に添え、それを根拠に答えさせる仕組み。モデルを学習し直さずに最新情報や社内文書を扱える。→ 第19章

27. 埋め込み embedding

文章の意味を数百〜数千次元の数値ベクトルに変換したもの。意味が近い文章ほどベクトルも近くなるので、意味で検索できる。→ 第19章

28. エージェント agent

LLMが自分で次の行動（検索する、ファイルを開く、コマンドを実行する…）を選び、結果を見てまた判断する、というループで目標を達成するシステム。→ 第20章・第28章

29. MCP Model Context Protocol

AIアプリと外部のツールやデータをつなぐための共通規格。2024年11月にAnthropicが公開し、2025年12月からはLinux Foundation傘下の団体（Agentic AI Foundation）が管理している。対応サーバーを差し込めば、いろいろなAIアプリから同じ道具を使える。→ 第20章

30. ベンチマーク benchmark

モデルの能力を比べるための共通テスト。便利だが、問題の丸暗記（汚染）や満点続出（飽和）の問題があり、数字だけで判断するのは危険。→ 第30章

30語を「1枚の図」にすると

flowchart TD
  D["事前学習・SFT・LoRA"] --> W["重み＋トークナイザ
MoE・推論モデル"]
  W --> F["safetensors・GGUF
量子化"]
  F --> R["ランタイム
llama.cpp・Ollama・vLLM"]
  R --> H["GPU・VRAM
KVキャッシュ"]
  R --> A["アプリ
RAG・エージェント・MCP"]
図: 30語の位置関係。学習でできた重みが、形式を変えて、ランタイムで動き、アプリで使われる

30語チェック

Q1. 「総パラメータは大きいのに、1トークンあたりの計算は軽い」構造は？

  • LoRA
  • MoE
  • RAG

MoEは専門家ブロックの一部だけを使うので、計算量は「アクティブパラメータ」で決まります。ただしメモリには全部載せる必要があります。

Q2. 長い会話を続けていたら、GPUメモリが足りなくなった。主に増えているのは？

  • 重み
  • KVキャッシュ
  • トークナイザ

重みの大きさは会話の長さに関係なく一定です。文脈が伸びるたびに増えるのはKVキャッシュです。

Q3. 社内規程について最新の内容で答えさせたい。まず検討するのは？

  • RAG
  • 事前学習
  • 量子化

規程を検索して入力に添えるRAGなら、文書を更新するだけで答えも変わり、出典も示せます。

Q4. safetensors と GGUF、どちらも「ファイル形式」。いちばん大きな使われ方の違いは？

safetensors は主に Hugging Face の transformers や vLLM などで使う、重みだけを入れる形式（設定やトークナイザは別ファイル）。GGUF は llama.cpp 系で使う、重み・トークナイザ・設定を1ファイルにまとめた形式で、量子化された重みを収めるのが一般的です。

この章のまとめ

  • 30語を6つの層に分けて覚えると、「何と何を比べているのか」を取り違えにくい
  • メモリの話は「重み（量子化で減る）」と「KVキャッシュ（文脈で増える）」の2本立て
  • モデルを変えずに知識を足すならRAG、振る舞いを変えるならファインチューニング

さらに深く学ぶ

この章の内容をもう一歩掘り下げるための原典です。

論文・資料ガイド全体を見る →

出典・参考

  1. Anthropic, “Introducing the Model Context Protocol” — 2024年11月25日公開
  2. Anthropic, “Donating the Model Context Protocol and establishing the Agentic AI Foundation”（2025年12月）
  3. Kwon et al., “Efficient Memory Management for Large Language Model Serving with PagedAttention” (2023), arXiv:2309.06180
  4. Hu et al., “LoRA: Low-Rank Adaptation of Large Language Models” (2021), arXiv:2106.09685
  5. Hugging Face, safetensors ドキュメント（2026年10月確認）
  6. ggml-org/ggml, GGUF 仕様（docs/gguf.md）（2026年10月確認）

各用語の詳しい出典は、リンク先の各章末にあります。