学習ツール群

まずは地図：ツールは「層」で考える

flowchart TD
  A["統合ツール
Axolotl・LlamaFactory・Unsloth"] --> B["学習手法
TRL・PEFT"]
  B --> C["モデル定義と学習ループ
Transformers"]
  C --> D["分散のまとめ役
Accelerate"]
  D --> E["分散学習エンジン
DeepSpeed・FSDP2"]
  E --> F["土台
PyTorch"]
  F --> G["GPU
CUDA・ROCmなど"]

Hugging Faceの基本セット：Transformers・PEFT・TRL

この3つの組み合わせが、多くのツールやチュートリアルの共通基盤です。たとえばTRLの SFTTrainer にモデル名、データセット、LoraConfig を渡すだけで、LoRAによるSFTが始められます。

from datasets import load_dataset
from peft import LoraConfig
from trl import SFTTrainer

trainer = SFTTrainer(
    "Qwen/Qwen3-0.6B",
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
    peft_config=LoraConfig(),
)
trainer.train()

上はTRLのドキュメントに載っている例です。数行で動くのは、裏でTransformersがモデルを読み、PEFTがアダプタを付け、TRLがデータの整形と学習ループを引き受けているからです。

学習データはどんな形で用意する？

ツールを選ぶ前に、データの形を決めておくと迷いません。TRLのドキュメントでは、SFT用のデータとして主に次の2種類の形を受け付けます。

{"messages": [{"role": "user", "content": "空は何色？"},
              {"role": "assistant", "content": "青です。"}]}

{"prompt": [{"role": "user", "content": "空は何色？"}],
 "completion": [{"role": "assistant", "content": "青です。"}]}

上は会話全体を1つにまとめた形、下は「指示」と「回答」を分けた形です。会話形式のデータを渡すと、トレーナーがモデルのチャットテンプレートを自動で当てはめます。Axolotl や LlamaFactory も、似た形式のJSONやJSONLを読み込めます。DPO用なら、1つの指示に対して「選ばれた回答（chosen）」と「選ばれなかった回答（rejected）」を並べた形になります。

GPUを何枚も使う：DeepSpeed・FSDP・Accelerate

モデルが1枚のGPUに収まらないとき、あるいは学習を速くしたいときは、複数のGPUに仕事を分けます。いちばん単純なのは、全GPUにモデルを丸ごと複製してデータだけを分けるDDP（Distributed Data Parallel）ですが、これでは1枚に入らないモデルは扱えません。

そこで、重み・勾配・オプティマイザ状態を各GPUに分割して持たせる（シャーディング）方法が使われます。第13章で見たとおり、フルファインチューニングは1パラメータあたり約16バイトかかるので、これを分け合えるのは大きな助けになります。

まとめて面倒を見る統合ツール

上の部品を自分で組み合わせる代わりに、設定ファイルやGUIで学習全体を動かせるツールがあります。中身では前述のライブラリが動いているので、「どれを選んでも根っこは同じ」と考えて大丈夫です。

開発が止まったツール：torchtune

torchtuneは、PyTorch公式チームによる「PyTorchネイティブ」の微調整ライブラリでした。しかし2025年7月、チームはtorchtuneの積極的な開発を終了すると発表しました。告知では、2025年中は重大なバグ修正とセキュリティパッチを続けるものの、新機能は追加しないとしています。

後継として発表されたtorchforgeも、2026年10月時点のREADMEでは「開発を一時停止」と書かれ、PyTorchでのLLM学習はtorchtitanに集約するとされています。古い記事でtorchtuneを勧められても、新しく始めるならほかのツールを選ぶのが無難です。

Macで学習する：MLX-LM

Apple Silicon のMacでは、Appleの機械学習フレームワークMLXと、その上のLLM用パッケージMLX-LMで微調整ができます。CPUとGPUが同じメモリを共有する「ユニファイドメモリ」を活かせるのが強みです（ハードウェアは第17章、MLXは第18章）。

pip install mlx-lm
mlx_lm.lora --model <モデル> --train --data <データのフォルダ>
mlx_lm.fuse --model <モデル>

MLX-LMの mlx_lm.lora は、--fine-tune-type で lora（既定）・dora・full を選べます。量子化済みのモデルを指定するとQLoRAとして学習し、mlx_lm.fuse でアダプタを結合できます。結合後にGGUFへ書き出す機能もありますが、対応するモデルの種類は限られています。

どれを選ぶ？

どのツールを使っても、成果物は「Baseモデル＋アダプタ」か「結合済みのモデル」です。推論はvLLMやllama.cppなど別のランタイムで行うのが普通なので、学習ツールと推論ツールは分けて考えましょう（第6章）。