第10章. 量子化（Quantization）

この章の目的

この章では、大規模言語モデル（LLM）の軽量化技術の一つである「量子化（Quantization）」について深く掘り下げます。特に、FP16、BF16、INT8、4bitといった様々なデータ型が何を意味し、どのようにLLMの性能とリソース消費に影響を与えるのかを理解することを目的とします。

この章で覚えるべきこと

• 量子化の基本的な概念と、それがLLMの軽量化にどのように貢献するか
• FP32、FP16、BF16、FP8、INT8、4bitなどの主要なデータ型の特徴と使い分け
• 推論時量子化の代表的な手法であるAWQとGPTQの仕組み
• 量子化と圧縮の違い
• bitsandbytesのような量子化ライブラリの役割

導入

大規模言語モデル（LLM）は、その強力な性能と汎用性で注目を集めていますが、同時に膨大な計算リソースとメモリを必要とします。特に、モデルの「重み（weights）」は数GBから数百GBにも及び、これを効率的に扱うことが、より多くのユーザーがLLMを利用できるかどうかの鍵となります。

そこで登場するのが「量子化（Quantization）」という技術です。量子化は、モデルの重みや活性化値（activations）を、より少ないビット数で表現することで、モデルのサイズを削減し、推論速度を向上させる手法です。これにより、限られたGPUメモリでもより大きなモデルを動かしたり、CPU上での推論を高速化したりすることが可能になります。

基本概念

量子化とは

ひとことで言うと: モデルの重みや活性化値を、より少ないビット数で表現する技術 何のカテゴリか: モデル軽量化技術、データ型変換 何に使うのか: LLMのメモリ使用量削減、推論速度向上、消費電力削減 代表例: FP32からFP16/BF16/INT8/4bitへの変換 よく混同される用語: 圧縮、GGUF 初心者向け注意点: 量子化は情報の一部を失う非可逆な処理であり、モデルの精度に影響を与える可能性があります。

量子化は、LLMの重み（通常は32ビット浮動小数点数、FP32で表現される）を、例えば16ビット浮動小数点数（FP16）、8ビット整数（INT8）、あるいはさらに少ない4ビット整数といった、より低精度なデータ型に変換するプロセスです。これにより、各重みが占めるメモリ量が減少し、結果としてモデル全体のサイズが小さくなります。

メモリ使用量の削減は、GPUにロードできるモデルの最大サイズを増やすだけでなく、データ転送の帯域幅要件も低減するため、推論速度の向上にもつながります。

データ型（Dtype）の種類

LLMでよく使われるデータ型をいくつか見ていきましょう。

FP32 (Single-precision floating-point)

ひとことで言うと: 標準的な32ビット浮動小数点数。 何のカテゴリか: 浮動小数点数データ型 何に使うのか: モデルの学習、高精度な推論 代表例: PyTorchのtorch.float32 よく混同される用語: なし 初心者向け注意点: ほとんどのモデルはFP32で学習されますが、推論時にはより低精度なデータ型に量子化されることが多いです。

FP32は、32ビット（4バイト）を使って数値を表現します。符号部1ビット、指数部8ビット、仮数部23ビットで構成され、広範囲の数値を高い精度で表現できます。LLMの学習は通常FP32で行われ、最も高い精度を提供しますが、その分メモリ消費も大きくなります。

FP16 (Half-precision floating-point)

ひとことで言うと: 16ビット浮動小数点数。 何のカテゴリか: 浮動小数点数データ型。 何に使うのか: 混合精度学習、推論時のメモリ削減と高速化。 代表例: PyTorchのtorch.float16。 よく混同される用語: BF16。 初心者向け注意点: FP32に比べて精度が落ちるため、モデルによっては性能がわずかに低下する可能性があります。

FP16は、16ビット（2バイト）を使って数値を表現します。符号部1ビット、指数部5ビット、仮数部10ビットで構成されます。FP32の半分のメモリで済むため、メモリ消費を大幅に削減できます。NVIDIAのGPUではFP16の演算を高速化するTensor Coreが搭載されており、推論速度の向上にも寄与します。多くのLLMはFP16で十分な精度を保ちつつ推論が可能です。

BF16 (Bfloat16)

ひとことで言うと: Googleが開発した16ビット浮動小数点数。 何のカテゴリか: 浮動小数点数データ型。 何に使うのか: 混合精度学習、推論時のメモリ削減と高速化。特に学習時の安定性に優れる。 代表例: PyTorchのtorch.bfloat16。 よく混同される用語: FP16。 初心者向け注意点: FP16とは指数部と仮数部の割り当てが異なるため、互換性はありません。ハードウェアサポートが必要です。

BF16も16ビット（2バイト）を使いますが、FP32と同じ指数部8ビットを持ち、仮数部が7ビットに削減されています。これにより、FP32と同じ数値範囲をカバーしつつ、FP16よりも大きな数値を表現できます。学習時の勾配がオーバーフローしにくいという利点があり、混合精度学習でFP32の代替としてよく使われます。推論でもFP16と同様にメモリ削減と高速化に貢献します。

FP8 (8-bit floating-point)

ひとことで言うと: 8ビット浮動小数点数。 何のカテゴリか: 浮動小数点数データ型。 何に使うのか: さらなるメモリ削減と高速化。 代表例: NVIDIA Hopperアーキテクチャ以降のGPUでサポート。 よく混同される用語: INT8。 初心者向け注意点: まだ比較的新しい技術であり、ハードウェアサポートやソフトウェア実装が限定的です。精度低下のリスクも高まります。

FP8は、8ビット（1バイト）で数値を表現します。FP8にはE4M3（指数部4ビット、仮数部3ビット）とE5M2（指数部5ビット、仮数部2ビット）の2つのフォーマットがあります。FP16やBF16よりもさらにメモリを削減できますが、その分表現できる数値の範囲や精度が大きく制限されます。最新のGPUアーキテクチャでサポートが始まり、今後の普及が期待されています。

INT8 (8-bit integer)

ひとことで言うと: 8ビット整数。 何のカテゴリか: 整数データ型。 何に使うのか: 推論時の極限的なメモリ削減と高速化。 代表例: NVIDIA TensorRT、ONNX Runtimeなどでの量子化。 よく混同される用語: FP8。 初心者向け注意点: 浮動小数点数を整数に変換するため、量子化手法によっては精度低下が顕著になることがあります。

INT8は、8ビット（1バイト）を使って整数を表現します。浮動小数点数を整数に変換する際には、スケーリング係数とゼロ点（offset）を用いて、元の浮動小数点数の範囲を8ビット整数の範囲（-128から127、または0から255）にマッピングします。これにより、メモリ使用量をFP32の1/4に削減できます。整数演算は浮動小数点演算よりも高速なため、推論速度も向上します。

浮動小数点数 $x$ を $b$-bit 整数 $q$ に量子化する基本的な式は以下のようになります。 $$ q = \text{round}\left(\frac{x - Z}{S}\right) $$ ここで、$S$ はスケーリング係数、$Z$ はゼロ点（zero-point）です。この式は、浮動小数点数の範囲を整数の範囲に線形にマッピングするものです。

4bit (4-bit integer)

ひとことで言うと: 4ビット整数。 何のカテゴリか: 整数データ型。 何に使うのか: 究極のメモリ削減、特に大規模モデルのCPU/低VRAM GPUでの実行。 代表例: GPTQ、AWQなどの量子化手法。 よく混同される用語: なし。 初心者向け注意点: 精度低下のリスクが最も高く、専用の量子化手法とランタイムが必要です。

4bitは、4ビット（0.5バイト）を使って整数を表現します。これはFP32の1/8のメモリ使用量であり、LLMの重みを極限まで軽量化するのに役立ちます。例えば、70Bパラメータのモデルを4bit量子化すると、約35GBのメモリで実行可能になります。しかし、表現できる数値の範囲が非常に狭くなるため、精度を維持するためには高度な量子化手法が不可欠です。

データ型の比較表

具体例

ここでは、量子化の具体的な手法と、それらを実装するライブラリについて見ていきます。

推論時量子化 (Post-Training Quantization, PTQ)

LLMの量子化は、主に学習済みのモデルに対して行われる「推論時量子化（Post-Training Quantization, PTQ）」が主流です。これは、モデルを再学習させることなく、重みを低精度に変換する手法です。

AWQ (Activation-aware Weight Quantization)

ひとことで言うと: 活性化値の重要度に基づいて重みを量子化する手法。 何のカテゴリか: 推論時量子化手法。 何に使うのか: 4bit/INT8量子化時の精度維持。 代表例: AutoAWQライブラリ。 よく混同される用語: GPTQ。 初心者向け注意点: 量子化には少量のキャリブレーションデータ（代表的な入力データ）が必要です。

AWQは、重みだけでなく、モデルの活性化値（各層の出力）の分布を考慮して量子化を行う手法です。特に、活性化値の分布が広い（外れ値が多い）重みは、量子化による精度低下の影響を受けやすいため、AWQではこれらの重みを保護するように量子化を行います。これにより、4bitのような極端な低ビット量子化でも高い精度を維持できるとされています。

GPTQ (Generative Pre-trained Transformer Quantization)

ひとことで言うと: 勾配情報を用いて重みを最適に量子化する手法。 何のカテゴリか: 推論時量子化手法。 何に使うのか: 4bit/INT8量子化時の精度維持。 代表例: GPTQライブラリ、AutoGPTQライブラリ。 よく混同される用語: AWQ。 初心者向け注意点: AWQと同様に、量子化には少量のキャリブレーションデータが必要です。

GPTQは、各重み層を独立して量子化する際に、量子化誤差がモデルの出力に与える影響を最小化するように、重みを最適化する手法です。具体的には、ヘッセ行列（二階微分）の情報を用いて、どの重みを量子化すべきか、どのように量子化すべきかを決定します。AWQと同様に、4bit量子化で高い精度を達成できることで知られています。

GPTQでは、重み行列 $W$ を量子化された行列 $W_q$ に変換する際に、元の行列との誤差を最小化します。これは、各層の重み $W$ と入力活性化値 $X$ が与えられたとき、量子化された重み $W_q$ を見つける問題として定式化されます。 $$ \min_{W_q} | W X - W_q X |_2^2 $$ この最適化問題は、ヘッセ行列の逆行列を用いて効率的に解かれます。

`bitsandbytes`

ひとことで言うと: GPU上で効率的な量子化演算を提供するライブラリ。 何のカテゴリか: 量子化ライブラリ、GPUユーティリティ。 何に使うのか: 4bit/8bit量子化モデルのロードと推論、QLoRA学習。 代表例: Hugging Face Transformersライブラリと連携。 よく混同される用語: なし。 初心者向け注意点: GPU環境が必須です。

bitsandbytesは、NVIDIA GPU上で低精度（特に8bitと4bit）の行列演算を効率的に実行するためのPythonライブラリです。Hugging Face Transformersライブラリと密接に統合されており、数行のコードでFP32モデルを4bitや8bitに量子化してロードし、推論を実行できます。また、QLoRAのような低ビット学習手法の基盤としても利用されています。

graph TD
    A[FP32モデル] --> B{量子化手法}
    B -- "AWQ/GPTQ" --> C[キャリブレーションデータ]
    B -- bitsandbytes --> D[GPU]
    C --> E["量子化済みモデル (例: 4bit)"]
    D --> E
    E --> F[推論]

図10.1: 量子化の一般的なフロー

よく混同される用語との比較

量子化 vs 圧縮

ひとことで言うと: 量子化はデータ型を変換してメモリを減らすこと、圧縮はデータの冗長性を排除してファイルサイズを減らすこと。 初心者向け注意点: GGUFファイルは量子化された重みを持つことがありますが、GGUF自体はファイル形式であり、その中に圧縮技術も含まれることがあります。量子化と圧縮は異なる概念ですが、軽量化という共通の目的のために併用されることが多いです。

GGUF quantization vs GPTQ / AWQ

ひとことで言うと: GGUF quantizationはllama.cppエコシステムに特化した量子化形式とツールであり、GPTQ/AWQはより汎用的な量子化アルゴリズムそのもの。 初心者向け注意点: GGUFファイルは、その内部で様々な量子化レベル（Q4_K_M, Q5_K_Sなど）をサポートしています。これらの量子化は、GPTQやAWQとは異なる独自のアルゴリズムに基づいていることが多いです。

学習時量子化 vs 推論時量子化

ひとことで言うと: 学習時量子化は学習中に量子化を考慮することで高精度を目指す手法、推論時量子化は学習済みのモデルを後から量子化する手法。 初心者向け注意点: LLMにおいては、推論時量子化が手軽さと効果のバランスから広く採用されています。

実務での位置づけ

量子化は、LLMを実運用する上で非常に重要な技術です。

1. リソース制約のある環境での実行: GPUメモリが限られている場合（例: 消費者向けGPU、エッジデバイス）、量子化はより大きなモデルを実行するための唯一の手段となることがあります。
2. 推論コストの削減: メモリ使用量と計算量が減ることで、GPUの利用効率が向上し、クラウドでの推論コストを削減できます。
3. 推論速度の向上: 低精度演算は高速に実行できるため、ユーザーへの応答時間を短縮できます。
4. モデル配布の効率化: モデルファイルが小さくなるため、ダウンロード時間やストレージコストが削減されます。

特に、Hugging Face Transformersとbitsandbytesの組み合わせは、数行のコードで4bit量子化モデルをロードし、推論できるため、LLMの民主化に大きく貢献しています。また、llama.cppとそのGGUF形式は、CPU環境やMacのMetal GPUなど、多様な環境でLLMを動かすためのデファクトスタンダードとなっています。

graph TD
    A[LLM開発者] --> B{学習済みFP32モデル}
    B --> C["推論時量子化 (GPTQ/AWQ)"]
    C --> D["量子化済みモデル (例: 4bit/INT8)"]
    D --> E[bitsandbytes]
    D --> F[GGUF変換ツール]
    E --> G[Hugging Face Transformers + GPU]
    F --> H[GGUFファイル]
    H --> I[llama.cpp / Ollama / LM Studio]
    G --> J[高速・低メモリ推論]
    I --> J
    J --> K[エンドユーザー]

    subgraph "量子化プロセス"
        C; D; E; F
    end

    subgraph "推論ランタイム"
        G; I
    end

図10.2: 量子化されたLLMがエンドユーザーに届くまでの流れ

まとめ

3行まとめ

• 量子化は、LLMの重みを低精度データ型（FP16, INT8, 4bitなど）に変換し、メモリ使用量と計算量を削減する技術です。
• FP16/BF16は精度と性能のバランスが良く、INT8/4bitは極限の軽量化を目指しますが、専用の量子化手法（GPTQ, AWQ）が必要です。
• bitsandbytesはGPU上での量子化推論を、GGUF形式はCPUやMac環境での量子化推論を可能にし、LLMの利用を広げています。

混同しやすい用語

• 量子化と圧縮: 量子化はデータ型変換、圧縮は冗長性排除。目的は似ていますが、技術的なアプローチが異なります。
• GGUF quantizationとGPTQ/AWQ: GGUF quantizationはllama.cppエコシステムに特化した量子化形式、GPTQ/AWQは汎用的な量子化アルゴリズム。

次に読むべき章

• 第11章: LoRA/QLoRA (量子化されたモデルを効率的にファインチューニングする技術について学びます)
• 第12章: プロンプトエンジニアリング (量子化モデルの精度低下をプロンプトで補う方法について考えるヒントが得られるかもしれません)