表紙論文・資料ガイド
もっと深く知るための論文・資料ガイド
各章の内容をもう一歩掘り下げたい人のために、原論文と一次資料を章ごとに選びました。難易度と「必読」の印で、どこから読むかを選べます。
このページの内容（11項目）
教科書の「その先」は、たいてい1本の論文から始まっています。
この本で出てきた言葉の多くには、それを最初に提案した論文や、仕様を定めた公式文書があります。原典を読むと、「なぜそう設計されたのか」という理由まで見えてきます。全部を読む必要はありません。気になった章から、必読の印と難易度を手がかりに1本選んでみてください。
このページの使い方
- 難易度 — 入門: 数式が少なく、概要をつかめる／中級: 基本的な機械学習の知識があると読みやすい／発展: 実装や数式まで踏み込む。
- 必読 — その分野の出発点になった古典。迷ったらここから。
- 年は論文が最初に公開された年（arXivなら初版の投稿年）です。学会名がある場合は、採録先の学会・論文誌です。
- arXivの論文は、まず要旨（Abstract）と図1を読み、気になったら導入と結論へ進むのがおすすめです。英語が不安なら、ブラウザの翻訳機能も遠慮なく使いましょう。
139 件
第1部 全体像をつかむ
第1章 LLM周辺の世界地図
いまのLLMの土台であるTransformerを提案した論文。再帰をやめてアテンションだけで系列を扱う発想が、大規模化への道を開きました。
関連: 第22章
Scaling Laws for Neural Language Models
モデルの大きさ・データ量・計算量を増やすと損失がべき乗則でなめらかに下がることを示した論文。「大きくすれば賢くなる」時代の出発点です。
関連: 第12章
Language Models are Few-Shot Learners
GPT-3の論文。追加学習なしでも、プロンプトに例をいくつか書くだけで多様なタスクをこなせる「few-shot」能力を大規模に示しました。
A Survey of Large Language Models
事前学習・適応・利用・評価までLLM全体を見渡す大部のサーベイ。何度も改訂されているので、全体の地図を確かめる辞書として使えます。
関連: 第25章
On the Opportunities and Risks of Foundation Models
「基盤モデル（foundation model）」という言葉を広めたスタンフォードの報告書。技術だけでなく社会的な影響まで論じています。
「オープンソースAI」と呼ぶための条件（データ情報・コード・パラメータの公開など）を定めた定義。オープンウェイトとの違いを考える基準になります。
関連: 第21章
第2部 モデルとは何か
第2章 モデル・重み・トークナイザ
Neural Machine Translation of Rare Words with Subword Units
BPE（バイト対符号化）を単語分割に使うことを提案した論文。いまのトークナイザの多くがこの考え方の子孫です。
空白で単語を区切らない日本語のような言語でも、生の文章から直接サブワード分割を学べるようにしたツールの論文。
The Curious Case of Neural Text Degeneration
確率最大の語を選び続けると文章が単調・反復的になる問題を分析し、top-p（nucleus）サンプリングを提案した論文。
RoFormer: Enhanced Transformer with Rotary Position Embedding
多くのLLMが採用する位置表現RoPE（回転位置埋め込み）を提案した論文。config.jsonの rope_theta などの意味が分かります。
Llama 3の詳細な技術報告。データ、事前学習、事後学習（SFT・DPO）、評価まで、現代的なLLMの作り方を一通り具体的に追えます。
関連: 第12章
第26章 MoE（Mixture of Experts）
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
ゲートで一部の専門家だけを動かす「疎なMoE層」を大規模に実現した論文。いまのMoE LLMの直接の祖先です。
GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
MoEをTransformerに組み込み、専門家を多数の装置に分散させて巨大モデルを学習した論文。
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
各トークンを1つの専門家だけに送る単純な設計で、学習を安定させつつ兆パラメータ級に拡大した論文。
8個の専門家から2個を選ぶオープンウェイトのMoEモデルの報告。専門家が話題ごとに分かれるわけではない、という分析も興味深い点です。
DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
専門家を細かく分割し、全トークン共通の「共有エキスパート」を置く設計を提案。DeepSeekの後続モデルの基礎です。
総パラメータ671B・アクティブ37BのMoEモデルの報告。補助損失を使わない負荷分散やMTPなど、最新の工夫がまとまっています。
関連: 第16章
gpt-oss-120b & gpt-oss-20b Model Card
OpenAIのオープンウェイトMoEモデルのモデルカード。MXFP4での配布や推論の強さの設定についても書かれています。
関連: 第27章
第27章 推論モデルと「考える時間」
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
途中の考え方を例として見せると、大きなモデルの推論問題の正答率が大きく上がることを示した論文。推論モデルの出発点です。
Large Language Models are Zero-Shot Reasoners
例を見せなくても「Let's think step by step」と添えるだけで推論が改善することを示した、日本発の有名な論文。
Self-Consistency Improves Chain of Thought Reasoning in Language Models
複数の考え方を生成して多数決を取ると精度が上がることを示した論文。推論時に計算を増やす発想の原型です。
答えだけでなく途中の各ステップを評価する「プロセス報酬」が、数学の推論で有効なことを示したOpenAIの論文。
Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
推論時の計算をうまく配分すれば、より大きなモデルを使うより効果的な場合があることを示した、テスト時計算の代表的な研究。
DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
価値関数を使わず、同じ問題への複数回答の相対評価で学ぶ強化学習GRPOを提案した論文。
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
検証可能な報酬による強化学習だけで、長く考える能力が自然に育つことを示した論文。小さなモデルへの蒸留も公開しました。
関連: 第12章
少量のデータでの微調整と「考える長さを強制的に延ばす」単純な工夫で、推論性能が伸びることを示した研究。
Reasoning Models Don't Always Say What They Think
推論モデルが実際に使ったヒントを思考過程で明かさないことが多いと示した研究。見えている思考をうのみにしない理由です。
第3部 モデルはどこにあるのか
第3章 Hugging Faceとは何か
HuggingFace's Transformers: State-of-the-art Natural Language Processing
transformersライブラリの設計を説明した論文。多数のモデルを同じ書き方で扱えるようにした考え方が分かります。
Model Cards for Model Reporting
Hugging Faceのモデルカードの元になった提案。モデルの用途・限界・評価条件を書き残すことの大切さを説いています。
データセットにも「仕様書」を付けようという提案。データの出どころや偏りを確認する習慣につながります。
Hugging Face Hub documentation
リポジトリ、モデルカード、ゲート付きモデル、Spacesなど、Hubの機能を公式に確かめるならここ。
第4部 モデル形式と保存形式
第4章 モデルファイル形式の基本
safetensorsの形式とその安全性・速度の理由を説明する公式ドキュメント。ヘッダの構造も載っています。
torch.saveとtorch.loadの仕組みと、pickleを使うことの意味（weights_only など）を説明する公式ノート。
フレームワークをまたいでモデルを受け渡すための共通形式ONNXの公式サイト。
Apple Silicon向けの配列計算フレームワークMLXのリポジトリ。ユニファイドメモリを前提にした設計が特徴です。
関連: 第18章
第5章 GGUFを重点的に理解する
GGUFのファイル構造・メタデータのキー・命名規則を定めた一次資料。第5章の内容はここが出発点です。
量子化の種類ごとの bits/weight、サイズ、速度の実測表がある資料。Q4_K_M などを選ぶときの根拠になります。
関連: 第10章
Q2_K〜Q6_K の「k-quant」を導入したプルリクエスト。ブロック構造とスケールの持ち方の設計意図が書かれています。
第5部 どうやってモデルを動かすのか
第6章 推論ランタイムとは何か
Efficiently Scaling Transformer Inference
推論のコストをメモリ帯域と計算量から見積もり、レイテンシとスループットのトレードオフを整理した論文。プリフィルとデコードの違いが数式で分かります。
関連: 第17章
LLM Inference Unveiled: Survey and Roofline Model Insights
ルーフラインモデルを使って、LLM推論がどこで詰まるかを視覚的に説明するサーベイ。高速化手法の地図としても便利です。
第7章 llama.cppとは何か
llama.cppの本家リポジトリ。READMEと docs/ が最新の使い方・対応バックエンドの一次情報です。
関連: 第23章
llama-server の全オプションとAPIの説明。既定ポートやOpenAI互換エンドポイントなど、細かな挙動はここで確かめます。
llama.cppの下で動くテンソル計算ライブラリggmlのリポジトリ。量子化型やバックエンドの実装はこちらにあります。
第8章 Ollama / LM Studio / Open WebUI / Jan など
第9章 vLLM / SGLang / TensorRT-LLM / TGI
DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving
性質の違うプリフィルとデコードを別のGPUに分ける「分離型」推論を提案した論文。NVIDIA Dynamoなどの設計の背景です。
関連: 第6章
Efficient Memory Management for Large Language Model Serving with PagedAttention
vLLMの論文。KVキャッシュをOSのページのように小さなブロックで管理し、メモリの無駄をほぼなくしてスループットを大きく上げました。
SGLang: Efficient Execution of Structured Language Model Programs
SGLangの論文。RadixAttentionでプレフィックスのKVキャッシュを木構造で共有し、複雑な呼び出しを効率よく実行します。
関連: 第15章
vLLMのリポジトリ。対応モデルや機能の追加が速いので、論文と合わせて最新のドキュメントを確認しましょう。
NVIDIA GPU向けに最適化した推論ライブラリのリポジトリ。trtllm-serve などの使い方が載っています。
推論エンジンの上で、プリフィルとデコードの分離やKVキャッシュを考えた振り分けを行う分散推論基盤。
第6部 どうやって軽くするのか
第10章 量子化（Quantization）
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
大きなモデルに現れる「外れ値」の特徴量を見つけ、そこだけ高精度で計算する8bit推論を提案。bitsandbytesの土台です。
GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers
2次の情報を使って誤差を補正しながら、学習後に重みを3〜4bitへ量子化する手法。大規模モデルの4bit化を実用にした代表作です。
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
活性化の大きさから「重要な重み」を見つけ、そこを守るようにスケールしてから量子化する手法。
SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models
量子化しにくい活性化の外れ値を重み側へ「ならして」移すことで、重みも活性化も8bitにするW8A8を実現した手法。
FP8のE4M3とE5M2の2形式を提案した、NVIDIA・Arm・Intelの共同論文。いまのGPUのFP8対応の基準です。
Microscaling Data Formats for Deep Learning
小さなブロックごとに共通の倍率を持たせるMX形式（MXFP4など）を提案した論文。gpt-ossのMXFP4の背景です。
ほかの章で紹介: llama.cpp quantize README、QLoRA: Efficient Finetuning of Quantized LLMs
第11章 BitNet / ternary / 1-bit系
BitNet: Scaling 1-bit Transformers for Large Language Models
重みを1bitにしたTransformerを最初から学習するBitNetを提案。後の1.58bit版の出発点です。
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
重みを-1・0・+1の三値にしたBitNet b1.58を提案し、同規模のFP16モデルに迫る性能を示して大きな話題になった論文。
BitNet b1.58 2B4T Technical Report
4兆トークンで学習した2Bの三値モデルを公開した技術報告。研究段階から「実際に試せる」段階に進んだ一歩です。
Bitnet.cpp: Efficient Edge Inference for Ternary LLMs
三値モデルをCPUで速く動かすための専用カーネルの論文。三値の利点を引き出すにはソフトウェア側の工夫が要ることが分かります。
BitNet a4.8: 4-bit Activations for 1-bit LLMs
重みだけでなく活性化も4bitに下げる続編。1bit系の研究がどこへ向かっているかが分かります。
第7部 学習と微調整
第12章 事前学習・継続事前学習・SFT
Training Compute-Optimal Large Language Models
「Chinchilla」論文。同じ計算量なら、モデルを大きくするよりデータを増やしたほうがよい場合が多いことを示し、学習の常識を変えました。
Training language models to follow instructions with human feedback
InstructGPTの論文。SFT→報酬モデル→強化学習（RLHF）という流れを示し、ChatGPT型のアシスタントの作り方の原型になりました。
Deep reinforcement learning from human preferences
人間による「どちらが良いか」の比較から報酬を学ぶという、RLHFの基本アイデアを示した論文。
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
報酬モデルと強化学習を使わず、好みのペアデータから直接モデルを調整するDPOを提案。シンプルさから広く使われています。
Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
特定分野の文章で事前学習を続ける（継続事前学習）と性能が上がることを系統的に示した論文。
Distilling the Knowledge in a Neural Network
大きなモデルの出力確率を手本に小さなモデルを学習させる「知識蒸留」を広めた論文。
関連: 第21章
Constitutional AI: Harmlessness from AI Feedback
人間の代わりに、原則（憲法）に沿ってAI自身がフィードバックを作るRLAIFの手法。
Tulu 3: Pushing Frontiers in Open Language Model Post-Training
SFT・DPO・検証可能な報酬による強化学習（RLVR）を組み合わせた事後学習のレシピを、データやコードごと公開した報告。
ほかの章で紹介: Scaling Laws for Neural Language Models、The Llama 3 Herd of Models、TRL - Transformer Reinforcement Learning、DeepSeek-R1: Incentivizing Reasoning Capabilit…
第13章 LoRA / QLoRA / Adapter
LoRA: Low-Rank Adaptation of Large Language Models
元の重みを固定し、小さな低ランク行列だけを学習するLoRAを提案。微調整を一気に身近にした論文です。
QLoRA: Efficient Finetuning of Quantized LLMs
4bit（NF4）に量子化したモデルの上でLoRAを学習するQLoRAを提案。大きなモデルを1枚のGPUで微調整できるようにしました。
関連: 第10章
Parameter-Efficient Transfer Learning for NLP
Transformerの層の間に小さな「アダプター」を差し込んで学習する手法。省パラメータ微調整（PEFT）の原点の一つです。
Prefix-Tuning: Optimizing Continuous Prompts for Generation
モデル本体は固定し、入力の前に付ける連続ベクトル（プレフィックス）だけを学習する手法。
DoRA: Weight-Decomposed Low-Rank Adaptation
重みを「大きさ」と「向き」に分けて、向きの更新にLoRAを使う改良版。PEFTライブラリでも使えます。
LoRA Learns Less and Forgets Less
LoRAはフル微調整より新しい知識の習得が少ない一方、元の能力も忘れにくいことを示した実証研究。LoRAに何を期待すべきかが分かります。
S-LoRA: Serving Thousands of Concurrent LoRA Adapters
1つのベースモデルで数千のLoRAを同時に配信するための仕組み。マルチテナントの推論サービスの設計に役立ちます。
ほかの章で紹介: ZeRO: Memory Optimizations Toward Training Tri…、PEFT
第14章 学習ツール群
ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
重み・勾配・最適化状態を複数GPUに分割して持つZeROを提案。DeepSpeedやFSDPの考え方の基本です。
関連: 第13章
PyTorch FSDP: Experiences on Scaling Fully Sharded Data Parallel
PyTorch標準の分散学習FSDPの設計と経験をまとめた論文。
Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
層の中の行列計算を複数GPUに分けるテンソル並列を示した論文。大規模学習・推論の並列化の基本です。
TRL - Transformer Reinforcement Learning
SFT・DPO・GRPOなどの事後学習をそろえたHugging Faceのライブラリの公式ドキュメント。
関連: 第12章
LoRAやその派生手法を共通の書き方で使えるPEFTライブラリの公式ドキュメント。
関連: 第13章
ほかの章で紹介: ml-explore/mlx-lm
第8部 推論を速くする
第15章 KV cache / batching / paged attention
Fast Transformer Decoding: One Write-Head is All You Need
全ヘッドでKeyとValueを1組だけ共有するMQAを提案し、デコード時のメモリ読み出しを大きく減らしました。
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
KVヘッドをグループで共有するGQAを提案。品質とKVキャッシュ削減のバランスがよく、多くのLLMが採用しています。
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
GPUのメモリ階層を意識して計算順序を組み替え、近似なしでアテンションを高速・省メモリにした論文。
FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
並列化と作業分割を見直し、FlashAttentionをさらに約2倍速くした改良版。
FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling
計算性能とメモリ性能の伸びが偏った新しいGPUに合わせて、アルゴリズムとカーネルを一緒に設計し直した最新版。
DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
KeyとValueを小さな潜在ベクトルに圧縮して保存するMLAを導入し、KVキャッシュを大幅に減らしたモデルの報告。
関連: 第26章
Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve
長いプリフィルを小分けにしてデコードと混ぜる「チャンク化プリフィル」で、スループットと応答の速さを両立させる手法。
ほかの章で紹介: Efficient Memory Management for Large Language…、SGLang: Efficient Execution of Structured Lang…
第16章 speculative decoding / EAGLE / DFlash
Fast Inference from Transformers via Speculative Decoding
小さなモデルの下書きを大きなモデルがまとめて検証し、出力の分布を変えずに生成を速くする投機的デコーディングを提案しました。
Accelerating Large Language Model Decoding with Speculative Sampling
同時期にDeepMindが独立に提案した投機的サンプリング。棄却サンプリングの考え方が丁寧に説明されています。
Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads
別の下書きモデルの代わりに、本体に「数個先を予測する頭」を足して候補を作る手法。
EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty
トークンではなく本体の内部特徴を先読みして下書きを作るEAGLEの最初の論文。
EAGLE-3: Scaling up Inference Acceleration of Large Language Models via Training-Time Test
複数の層の特徴を使い、学習時に推論時の状況を再現することで受理率を高めたEAGLEの第3版。主要エンジンが対応しています。
Better & Faster Large Language Models via Multi-token Prediction
1回に複数先のトークンを予測するよう学習すると、性能も推論速度も上がり得ることを示した論文。
DFlash: Block Diffusion for Flash Speculative Decoding
ブロック拡散モデルを下書き係にして、複数トークンの下書きを1回の計算でまとめて作る2026年の手法。
ほかの章で紹介: DeepSeek-V3 Technical Report
第9部 ハードウェアと実行環境
第17章 CPU / GPU / NPU / TPU の違い
In-Datacenter Performance Analysis of a Tensor Processing Unit
Googleが初代TPUの設計と実測を公開した論文。行列計算専用チップがなぜ効率的なのかが分かります。
計算性能の伸びにメモリ帯域が追いつかない「メモリの壁」を、データで示した短めの論文。LLM推論がなぜ帯域で決まるのかの背景です。
第18章 CUDA / ROCm / Metal / DirectML
CUDAのプログラミングモデル（スレッド、ブロック、メモリ階層）の公式解説。GPUがどう計算しているかを知る入口です。
ROCmの公式ドキュメント。対応GPUの一覧とリリース履歴はここで確認します。
Windowsの機械学習実行基盤Windows MLの公式概要。DirectMLからの移行先として紹介されています。
ほかの章で紹介: ml-explore/mlx
第10部 データ・検索・エージェント
第19章 RAG / embedding / vector DB
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
検索した文書を生成モデルに渡して答えさせる「RAG」という名前と枠組みを提案した論文。
関連: 第22章
Dense Passage Retrieval for Open-Domain Question Answering
質問と文書をそれぞれベクトルにして近さで探す「密ベクトル検索」が、キーワード検索を上回り得ることを示した論文。
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
文全体の意味を1本のベクトルにする実用的な方法を示し、意味検索や埋め込みモデルの普及につながった論文。
多くのベクトルDBが使う近似最近傍探索HNSWの論文。速さと精度を両立する階層グラフの仕組みが分かります。
ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
文書をトークンごとのベクトルで持ち、検索時に細かく突き合わせる「後期相互作用」型の検索モデル。
Lost in the Middle: How Language Models Use Long Contexts
長い入力の真ん中にある情報ほど使われにくいことを示した論文。「全部入れればよい」とは限らない理由です。
関連: 第28章
From Local to Global: A Graph RAG Approach to Query-Focused Summarization
文書から知識グラフを作り、全体を俯瞰する質問に答えるGraphRAGを提案したMicrosoftの論文。
Ragas: Automated Evaluation of Retrieval Augmented Generation
RAGの「検索の良さ」と「回答の忠実さ」を分けて自動評価する指標群を提案した論文。
関連: 第30章
第20章 エージェント / ツール利用 / MCP
ReAct: Synergizing Reasoning and Acting in Language Models
考える（Reason）と行動する（Act）を交互に繰り返すエージェントの基本パターンを示した論文。
Toolformer: Language Models Can Teach Themselves to Use Tools
どこでどのAPIを呼ぶべきかを、モデル自身が作ったデータで学習させる手法。ツール利用の初期の代表作です。
Webページなどに埋め込んだ指示でAIを乗っ取る「間接プロンプトインジェクション」を体系的に示した論文。
関連: 第28章
Model Context Protocol Specification
MCPの正式な仕様（2026-07-28版）。ホスト・クライアント・サーバーの役割や通信方法を一次情報で確かめられます。
「ワークフロー」と「エージェント」を区別し、シンプルな構成から始めることを勧める実践的な記事。
エージェント同士をつなぐA2Aプロトコルの仕様とSDKのリポジトリ。
第28章 AIコーディングエージェントとコンテキストエンジニアリング
SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering
エージェント向けにファイル閲覧や編集の操作を設計し直すと性能が上がることを示した論文。道具の設計の大切さが分かります。
OpenHands: An Open Platform for AI Software Developers as Generalist Agents
オープンソースのコーディングエージェント基盤の論文。サンドボックス内でコードを書き実行する仕組みが分かります。
Effective context engineering for AI agents
限られたコンテキストに何をどう入れるかを「注意の予算」として考える、コンテキストエンジニアリングの解説記事。
コーディングエージェント向けの指示ファイルAGENTS.mdの公式サイト。何を書けばよいかの例があります。
ほかの章で紹介: Lost in the Middle: How Language Models Use Lo…、Not what you've signed up for: Compromising Re…、SWE-bench: Can Language Models Resolve Real-Wo…
第11部 見る・聞く・測る
第29章 マルチモーダル：画像・音声・動画を扱うLLM
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
画像を小さなパッチに切ってトークンとして扱うVision Transformerを提案。いまの画像を読むLLMのエンコーダの基本です。
Learning Transferable Visual Models From Natural Language Supervision
画像と説明文の組を大量に使い、画像と言葉を同じ空間に並べるCLIPを提案。多くのVLMの視覚エンコーダの源流です。
Flamingo: a Visual Language Model for Few-Shot Learning
学習済みの言語モデルに画像を読む部品をつなぎ、画像と文章が混ざった入力を扱えるようにした先駆的なVLM。
LLaVAの論文。視覚エンコーダ＋プロジェクタ＋LLMというシンプルな構成と指示データで、画像について会話できるモデルを作りました。
Robust Speech Recognition via Large-Scale Weak Supervision
Whisperの論文。大量の弱い教師付きデータで学習し、多言語で頑健な音声認識を実現しました。
High-Resolution Image Synthesis with Latent Diffusion Models
Stable Diffusionの元になった潜在拡散モデルの論文。画像を「理解する」VLMとの違いを知るのに役立ちます。
Chameleon: Mixed-Modal Early-Fusion Foundation Models
画像も文章も最初から同じトークン列として扱う「早期融合」型のモデル。理解と生成をまとめる流れの代表例です。
オープンウェイトの代表的なVLMの最新技術報告。長い動画や文書の理解など、2025年以降の到達点が分かります。
第30章 評価とベンチマーク
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
実在のGitHubのissueを解決できるかで測るベンチマーク。コーディングエージェントの実力比較で最もよく引用されます。
関連: 第28章
Measuring Massive Multitask Language Understanding
57分野の選択式問題で知識を測るMMLUの論文。長く標準的な指標でしたが、いまは飽和の例としても語られます。
Evaluating Large Language Models Trained on Code
Codexの論文で、コード生成ベンチマークHumanEvalと指標pass@kを導入しました。
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
LLMに採点させる評価の有効性と偏り（位置・長さ・自己びいき）を分析し、MT-Benchを提案した論文。
Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference
人が2つの回答を見比べて投票する方式のリーダーボードの仕組みと統計手法を説明した論文。
Holistic Evaluation of Language Models
正確さだけでなく、頑健さ・公平性・効率など多面的にモデルを評価する枠組みHELMの論文。
GPQA: A Graduate-Level Google-Proof Q&A Benchmark
検索しても簡単には答えられない、専門家レベルの理科の問題集。難しいベンチマークの作り方の例として読めます。
A Careful Examination of Large Language Model Performance on Grade School Arithmetic
よく似た新作問題を作って解かせると点数が下がるモデルがあることを示し、ベンチマーク汚染の影響を測った研究。
人気のリーダーボードで、非公開の複数バージョンを試して良いものだけ公開する慣行などの偏りを指摘した論文。
JGLUE: Japanese General Language Understanding Evaluation
翻訳ではなく日本語で一から作られた言語理解ベンチマーク。日本語モデルの評価の基本セットです。
このリストの確かめ方
すべての項目について、リンク先を実際に取得して存在を確認しています。arXivの論文はarXiv APIでタイトル・初版の年・筆頭著者を照合し、学会名はarXivの記載またはSemantic Scholar／DBLPの書誌情報で確認できたものだけを載せています（確認できない場合は「arXiv」と表記）。照合には tools/check_refs.py を使っています。2026年10月時点。