CPU / GPU / NPU / TPU の違い

CPUとGPU：少数の職人と、大勢の作業員

LLMの中身は、ほとんどが巨大な行列の掛け算です（第2章）。同じ種類の計算を大量に並べて行うので、GPUの「大勢で一斉に」というスタイルがぴったり合います。最近のGPUには、行列計算専用の回路（NVIDIAならTensorコア）も載っています。

LLMの2つの仕事：読む速さと書く速さ

LLMが返事をするとき、中では性格の違う2つの仕事が起きています（詳しくは第15章）。

• プリフィル（prefill）: 入力されたプロンプトを一気に読み込む段階。多くのトークンをまとめて計算できるので、計算性能が効きます。
• デコード（decode）: 返事を1トークンずつ生成する段階。1トークン出すたびに、モデルの重みをほぼ全部メモリから読み出す必要があり、メモリ帯域が効きます。

たとえば、8BモデルをQ4_K_M（約4.9GB）にして動かす場合を考えます。1トークンごとに約4.9GBを読み出すので、帯域が273GB/sなら、上限は 273 ÷ 4.9 ≒ 毎秒56トークンです。実際にはほかの処理もあるので、これより遅くなります。

表は「帯域 ÷ 重みのサイズ（8Bは約4.9GB、70Bは約43GB）」で出した理論上の上限で、実測値ではありません。それでも、同じモデルならどのマシンが速そうか、大まかな順番はこれで見当がつきます。第26章のMoEモデルは、1トークンごとに使う重みが一部だけなので、この上限が大きく上がります。

まず「入るか」：メモリ容量

速さの前に、モデルがメモリに入るかどうかが最初の関門です。重みのサイズは「パラメータ数 × ビット数 ÷ 8」で見積もれます。下のウィジェットで、モデルの大きさと量子化の組み合わせを変えてみてください。

重みのほかに、会話の文脈を覚えておくKVキャッシュ（第15章）や作業用のメモリも必要です。容量は「重みのサイズ＋2〜3割以上の余裕」を目安に考えましょう。量子化の詳細は第10章で扱っています。

データセンターのGPU：NVIDIAとAMD

大規模な学習や、大勢のユーザーへの配信を担うのがデータセンター向けのGPUです。どれもHBM（High Bandwidth Memory）という、チップのすぐ横に積み重ねた超高帯域のメモリを使っています。

NVIDIAは、Blackwell世代（B200など）の強化版Blackwell Ultraを載せた「GB300 NVL72」で、72基のGPUをNVLinkでつないだラック全体を1つの巨大な計算機として売っています。公式の仕様では、ラック全体でGPUメモリ20TB、帯域は最大576TB/s（1基あたり約8TB/sの計算）です。次の世代のRubinは、NVIDIAの製品ページで「Available Now」とされ、Rubin GPU 1基あたりHBM4を288GB、帯域19.2TB/sと案内されています2026年10月時点。

AMDのInstinct MI355Xは、HBM3Eを288GB、帯域8TB/s持つGPUです。次のMI400シリーズでは、MI455XがHBM4を432GB、帯域23.3TB/s持つとされます。AMDは2026年7月のイベントでMI455Xと72基入りラック「Helios」を発表し、Heliosの本格的な出荷は2026年後半からとしています2026年10月時点。

TPU：Googleの行列計算専用チップ

TPU（Tensor Processing Unit）は、Googleが自社のAIのために設計したチップです。GPUのような汎用性は持たず、行列の掛け算を流れ作業のように次々と処理するシストリックアレイという回路に特化しています。買うことはできず、Google Cloud経由で借りて使います。

Googleは2026年4月のCloud Nextで、第8世代を学習向けのTPU 8tと推論向けのTPU 8iの2種類に分けると発表しました。発表時点では「年内に一般提供」とされていましたが、2026年10月時点のCloud TPUのドキュメントでは、Ironwoodが「Google Cloudで利用できる最新のTPU」と書かれています。

NPU：省電力のAI専用回路

NPU（Neural Processing Unit）は、PCやスマートフォンのチップに組み込まれた、AI計算向けの省電力回路です。AppleのNeural Engine、QualcommのHexagon、IntelやAMDのNPUなどがあります。性能はTOPS（1秒あたり何兆回の演算ができるか）で表されることが多く、MicrosoftはCopilot+ PCの条件として40 TOPS超のNPUを挙げています。

NPUが得意なのは、背景ぼかし、音声認識、画像生成の一部、小さな言語モデルのように「ずっと動かしておきたい、電池を食わせたくない」処理です。大きなLLMの生成速度は前述のとおりメモリ帯域で決まるので、NPUを使っても劇的には速くなりません。CPUやGPUと同じメモリを共有しているからです。

手元でLLMを動かすマシン

個人や小さなチームで使うマシンも選択肢が増えました。2026年10月時点の代表例を、公式の数字で比べます。

Appleは2026年8月にM5 UltraとM6を発表し、M5 Ultraについて「数千億パラメータの巨大なLLMを完全にデバイス上で動かせる」と説明しています。AMDは2026年5月に、最大192GB・帯域約273GB/sに増やしたRyzen AI Max PRO 400シリーズを発表しました。Ryzen AI Max+ 395の帯域は、256bit幅のLPDDR5X-8000から計算した値です。

「速いか」のほうは、下の計算機で確かめられます。表の帯域を入れて、モデルの大きさやビット幅を変えてみてください。MoEなら、アクティブパラメータの欄も埋めると上限がぐっと上がります。

どれを選ぶ？

flowchart TD
  A["何をしたい？"] --> B["手元で試す"]
  A --> C["大勢に配信・学習"]
  B --> D["小さめのモデル
手持ちのPC・GPU"]
  B --> E["大きなモデル
大容量ユニファイドメモリ"]
  B --> F["速さ重視
VRAMの多いGPU"]
  C --> G["クラウドのGPU・TPU"]

迷ったら、「動かしたいモデルのサイズ」と「欲しい速さ」から逆算するのが確実です。容量でモデルが入るかを確かめ、帯域で生成速度の上限を見積もり、最後にソフトウェアの対応（第18章）を確認しましょう。