第24章. 用語索引

この章の目的

この章の目的は、本書全体で登場した主要な用語を網羅的にリストアップし、それぞれの用語がどの章で詳しく説明されているかを示すことです。読者が特定の用語の意味を再確認したい場合や、関連する概念をまとめて学習したい場合に、素早く情報にアクセスできる辞書として機能します。

この章で覚えるべきこと

• 本書で扱われた主要なLLM関連用語の全体像を把握できる。
• 各用語がどの章で詳細に解説されているかを素早く見つけられる。
• 関連する用語や概念への理解を深めるための参照点として活用できる。

用語索引の利用方法

LLM（大規模言語モデル）の分野は、技術の進歩が著しく、新しい概念や専門用語が日々生まれています。本書では、初心者から中級者までがこの複雑な世界を理解できるよう、多くの重要な用語を丁寧に解説してきました。しかし、一度読んだだけではすべての用語を記憶するのは難しいでしょうし、特定の用語の意味を再確認したい場面も少なくないはずです。

この「用語索引」は、そんな読者の皆さんのための羅針盤です。本書で登場した主要な用語をアルファベット順に整理し、それぞれの用語がどの章で詳しく説明されているかを明記しています。これにより、読者は、知りたい用語の解説に素早くたどり着き、効率的に学習を進めることができます。

用語索引は、特定の分野の専門用語を網羅的に集め、その定義や関連情報への参照を提供するツールです。本書の用語索引は、以下の原則に基づいて構成されています。

1. 網羅性: 本書で解説された主要な技術用語、概念、ツール名を可能な限り含めます。
2. 参照性: 各用語に対し、その用語が最も詳細に説明されている章番号を明記します。これにより、読者は元の解説に簡単に戻ることができます。
3. 利便性: アルファベット順に並べることで、目的の用語を素早く見つけられるようにします。

この索引は、単なる用語集ではなく、本書の各章がどのように関連し合っているかを理解するための一助ともなります。例えば、「ファインチューニング」という用語を調べた際に、それが「転移学習」の章（第10章）だけでなく、「プロンプトエンジニアリング」の章（第12章）や「Adapter」の章（第13章）でも言及されていることに気づけば、ファインチューニングがLLMの様々な側面と深く関連していることを理解できるでしょう。

用語索引の構造と参照フロー

graph TD
    A[読者] --> B{用語検索}
    B --> C[用語索引]
    C --> D{目的の用語発見}
    D --> E[参照章番号確認]
    E --> F[該当章へ移動]
    F --> G[詳細解説を学習]
    G --> H{関連用語発見}
    H --> C

用語索引は、読者が特定の用語から関連する章へとスムーズに移動し、学習を深めるためのナビゲーションシステムとして機能します。

LLM開発における主要な学習パラダイムの比較

LLMの評価指標の分類

graph TD
    A["LLM評価指標"] --> B["自動評価 (Automatic Evaluation)"]
    A --> C["人間評価 (Human Evaluation)"]

    B --> B1["生成品質"]
    B --> B2["タスク性能"]
    B --> B3["効率性"]

    B1 --> B1a["Perplexity (PPL)"]
    B1 --> B1b["BLEU"]
    B1 --> B1c["ROUGE"]

    B2 --> B2a["Accuracy"]
    B2 --> B2b["F1-score"]
    B2 --> B2c["Exact Match"]

    B3 --> B3a["Latency"]
    B3 --> B3b["Throughput"]

    C --> C1["関連性"]
    C --> C2["流暢さ"]
    C --> C3["有用性"]
    C --> C4["安全性"]

    subgraph "参照章"
            B1a
            B1b
            B1c
            B2a
            B2b
            B2c
            C1
            C2
            C3
            C4
    end

LLMの評価は、自動評価と人間評価の二つの主要なカテゴリに分けられます。自動評価は客観的な指標に基づき、人間評価はより主観的で多角的な視点を提供します。

具体例

以下に、本書で登場した主要な用語とその参照章をリストアップします。このリストは、本書の全内容を網羅するものであり、読者の学習をサポートするためのものです。

クロスエントロピー損失関数

LLMの学習において、モデルの出力と正解ラベルとの間の誤差を測るためによく用いられるのがクロスエントロピー損失関数です。特に分類タスクや言語モデルの次単語予測において重要です。

$$ L = - \sum_{i=1}^{N} y_i \log(\hat{y}_i) $$

ここで、$L$ は損失値、$N$ はクラス数（または語彙サイズ）、$y_i$ は正解ラベルにおけるクラス $i$ の確率（通常はone-hotエンコーディングで1または0）、$\hat{y}_i$ はモデルが予測したクラス $i$ の確率です。この損失関数は、正解クラスの確率を最大化するようにモデルを学習させます。

Perplexity (PPL)

Perplexityは、言語モデルの性能を評価する指標の一つで、モデルが次に現れる単語をどれだけうまく予測できるかを示します。値が低いほど、モデルの予測能力が高いことを意味します。

$$ PPL = \exp \left( - \frac{1}{N} \sum_{i=1}^{N} \log P(w_i | w_1, \dots, w_{i-1}) \right) $$

ここで、$N$ は評価対象のテキストの単語数、$w_i$ は $i$ 番目の単語、$P(w_i | w_1, \dots, w_{i-1})$ はモデルが前の単語列に基づいて $w_i$ を予測する確率です。

3行まとめ

この章は用語索引であるため、「3行まとめ」は割愛します。

混同しやすい用語

この章は用語索引であるため、「混同しやすい用語」は割愛します。