事前学習・継続事前学習・SFT

LLMが育つ道のり：大きく2段階

flowchart TD
  A["大量のテキスト"] --> B["事前学習
次トークン予測"]
  B --> C["Baseモデル"]
  C --> D["継続事前学習
分野・言語を追加"]
  C --> E["SFT
指示と回答の手本"]
  D --> E
  E --> F["好みの学習
RLHF・DPO"]
  F --> G["強化学習
RLVRなど"]
  G --> H["Instruct・Chatモデル"]

図はあくまで典型例です。SFTと好みの学習を何度か往復させたり、強化学習を大きく使ったりと、各社のレシピはさまざまです。ただ「まず広く学び、あとから使い方を整える」という骨組みはほぼ共通しています。

事前学習：ひたすら「次の単語当て」

事前学習（pre-training）では、ウェブページ、書籍、コードなどの大量のテキストを読み、「ここまでの文章の次に来るトークンは何か」を当てる練習を延々と繰り返します。これを次トークン予測（next-token prediction）と呼びます。正解は文章そのものに含まれているので、人がラベルを付ける必要がありません。

単純な練習ですが、続きをうまく当てるには文法も、事実も、論理の流れも知っている必要があります。その結果、モデルの重みの中に言語や知識のパターンが蓄えられていきます。トークンについては第2章を参照してください。

規模は桁違いです。たとえばMetaは、Llama 3を15兆（15T）トークン超のデータで事前学習したと説明しています。また2022年の「Chinchilla」論文は、計算量を最も効率よく使うには、モデルの大きさと学習トークン数を同じ割合で増やすべきだと示し、その後のモデル設計に大きな影響を与えました。

事前学習は、大量のGPUを数週間〜数か月動かす大事業です。個人や一般企業が自前でゼロから行うことはまれで、多くの場合は公開されたBaseモデルやInstructモデルを出発点にします。

継続事前学習：得意分野を「追加で」学ぶ

継続事前学習（continued pre-training / continual pre-training）は、学習済みのモデルに、さらに特定の種類のテキストを次トークン予測で読ませることです。やっていることは事前学習と同じで、データの中身が違います。

• 分野への適応: 医療、法律、社内文書など、特定分野の文章を大量に読ませる。2020年の論文「Don't Stop Pretraining」は、分野のテキストで追加の事前学習をすると、その分野のタスクの成績が上がることを示しました。
• 言語の強化: 英語中心のモデルに日本語のテキストを追加で読ませ、日本語を得意にする。
• 長い文脈への対応: 長い文書で追加学習し、扱える文脈長を伸ばす。

SFT：手本を見せて「答え方」を教える

SFT（Supervised Fine-Tuning、教師ありファインチューニング）は、「この指示にはこう答える」という手本のペアを大量に見せて学習させることです。指示チューニング（instruction tuning）とも呼ばれます。Base版がInstruct版に変わる、いちばん大きな一歩がここです。

データは上のような会話の形で用意し、チャットテンプレート（chat template）という決まった書式で1本の文字列に変換してから学習します。モデルごとに区切り記号が違うため、Transformersの apply_chat_template のような仕組みでテンプレートを合わせるのが基本です。学習時と使用時でテンプレートがずれると、急に受け答えが崩れます。

学習のしくみ自体は事前学習と同じ次トークン予測ですが、assistantの発言部分だけを採点（損失の計算）の対象にする設定がよく使われます。ユーザーの質問文まで「当てる練習」をする必要はないからです。TRLの SFTTrainer では、プロンプトと回答を分けたデータなら既定で回答部分だけを、会話形式なら assistant_only_loss=True でassistant部分だけを採点できます。

好みを教える：RLHFとDPO

SFTだけでは「正しいけれど不親切」「長すぎる」「危険な依頼にも答えてしまう」といった問題が残ります。そこで、人が2つの回答を見比べて「こちらが良い」と選んだ好みのデータ（preference data）を使って、さらに調整します。

2022年のOpenAIの論文（InstructGPT）は、SFTとRLHFを組み合わせ、人による評価では13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3の出力よりも好まれたと報告しました。「大きさより、使い方の仕上げが効く」ことを示した象徴的な結果です。

DPOの登場で、好みの学習は個人でも試せるものになりました。Hugging FaceのTRLには DPOTrainer があり、KTOなど派生手法のトレーナーも揃っています（ツールは第14章）。

正解を確かめられるなら強化学習：RLVR

数学の答えやプログラムのテストのように、正しいかどうかを機械的に判定できる課題では、人の好みの代わりに「正解したら報酬」という仕組みで強化学習ができます。2024年のTulu 3の報告では、これをRLVR（Reinforcement Learning with Verifiable Rewards、検証可能な報酬による強化学習）と名付けました。

2025年のDeepSeek-R1の論文は、人が書いた思考の手本に頼らず、強化学習によって推論能力を引き出せることを示しました。いわゆる推論モデルの中心にある技術で、GRPOなどのアルゴリズムも含めて第27章で詳しく扱います。ここでは「SFT → 好みの学習 → 検証可能な課題での強化学習」と、事後学習の道具箱が広がってきた、と押さえておけば十分です。

蒸留：大きな先生から小さな生徒へ

考え方は2015年のHintonらの論文で広まりました。正解ラベルだけでなく、教師が出す「各候補の確率」まで真似させると、生徒は「どの答えとどの答えが似ているか」という細かい情報まで学べます。LLMでは、教師モデルに大量の回答を書かせ、それを生徒のSFTデータに使う簡単な形もよく「蒸留」と呼ばれます。

DeepSeek-R1の論文でも、大きな推論モデルの出した推論の筋道を使って、小さなモデルの推論能力を高められると述べています。小さく速いモデルの多くが、こうした大きなモデルからの蒸留で鍛えられています。

モデル名から学習段階を読み取る

公開モデルの名前や説明（モデルカード）を見ると、どの段階まで済んでいるかがおおよそわかります。

命名には統一ルールがないので、最後はモデルカードの説明を確認しましょう。自分でSFTするならBase版から、手軽にLoRAで口調だけ整えたいならInstruct版から始める、という選び方が一般的です。

自分で学習させるべき？ 判断の目安

「うちの業務に合わせたい」と思ったとき、いきなり学習に進む必要はありません。手間が小さい順に試すのが鉄則です。

flowchart TD
  A["やりたいこと"] --> B["プロンプトの工夫で
足りる？"]
  B -->|"足りない"| C["最新の知識・
社内情報が必要？"]
  C -->|"はい"| D["RAGを検討
第19章"]
  C -->|"いいえ"| E["口調・形式・
作業の型を教えたい"]
  E --> F["LoRAでSFT
第13章"]
  F --> G["分野の文章を
大量に読ませたい"]
  G --> H["継続事前学習"]

SFTや好みの学習を自分で行うときも、モデル全体を更新するフルファインチューニングは大量のGPUメモリが必要です。そこで、一部だけを学習するLoRAなどの方法がよく使われます。これが次の第13章のテーマです。