モデル・重み・トークナイザ

「モデル」は3つの部品でできている

LLMは、入力された文章の「次に来そうな言葉」を確率として計算するプログラムです。その計算には、膨大な数の数値（重み）と、それをどう組み合わせるかの手順（アーキテクチャ）が必要です。さらに、コンピュータは文字をそのまま計算できないので、文字と数字を相互に変換する係（トークナイザ）もいります。

flowchart TD
  A["入力テキスト"] --> B["トークナイザ
文字 → トークンID"]
  B --> C["モデル本体
アーキテクチャ ＋ 重み"]
  C --> D["次のトークンの確率"]
  D --> E["サンプリング
1つ選ぶ"]
  E --> F["トークナイザ
トークンID → 文字"]
  F --> G["出力テキスト"]

重み（パラメータ）は「学習で決まった数値の山」

重み（weights）とは、ニューラルネットワークの中で入力に掛け算される数値のことです。LLMの文脈では「パラメータ」とほぼ同じ意味で使われます。「8Bモデル」の「8B」は、この数値がおよそ80億（8 billion）個あるという意味です。

重みは人間が書いたものではありません。大量の文章を読ませて「次の単語当て」を繰り返すうちに、少しずつ調整されて決まった値です。だから重みを見ても「この数字は文法の知識」といった読み方は基本的にできません。知識や癖は、何十億もの数値の組み合わせの中に溶け込んでいます。

重みの大きさはこう見積もる

ファイルサイズは「パラメータ数 × 1個あたりのバイト数」でほぼ決まります。学習済みモデルはBF16（1個2バイト）で配布されることが多く、その場合は次のとおりです。

Qwen3.5-0.8Bは、Hugging Faceの表示で873,438,784個のパラメータ（ほぼすべてBF16）を持ち、ファイルは約1.75GBです。計算どおりですね。数字をさらに小さくする「量子化」は第10章で、4bit版の具体的なサイズは第5章で扱います。

設定ファイル：重みをどう並べて計算するかの設計図

重みの数値だけがあっても、どの順番で、どの形の計算に使うのかが分からなければ動きません。それを記したのが config.json です。中には層の数、隠れ次元（hidden size）、アテンションのヘッド数、語彙の大きさ、扱える最大の長さなどが書かれています。

たとえば Qwen/Qwen3.5-0.8B の config.json には、次のような値があります（一部を抜粋）。

"model_type": "qwen3_5_text",
"hidden_size": 1024,
"num_hidden_layers": 24,
"num_attention_heads": 8,
"num_key_value_heads": 2,
"vocab_size": 248320,
"max_position_embeddings": 262144,
"dtype": "bfloat16"

「24層を積み重ねた、幅1024の計算で、語彙は約25万種類」と読めます。推論ソフトはまず model_type を見て「このアーキテクチャの計算手順を使おう」と決め、残りの数字で形を整えてから重みを流し込みます。新しいモデルが出たときに「まだ対応していない」と言われるのは、この計算手順がソフト側に実装されていないからです。

よく一緒に置かれているファイルも覚えておくと便利です。

• generation_config.json — 推奨される生成時の設定（温度、top-p、終了トークンなど）。たとえば google/gemma-4-E2B-it では temperature 1.0、top_k 64、top_p 0.95 が書かれています。
• model.safetensors.index.json — 重みが複数ファイルに分かれているとき、どのテンソルがどのファイルにあるかの目次。
• tokenizer.json / tokenizer_config.json — 次の節で説明するトークナイザの中身と設定。
• chat_template.jinja — 会話をモデルが読める文字列に組み立てるテンプレート（後述）。

トークナイザ：文字を数字に変える翻訳係

トークンは「単語」とも「文字」とも限りません。英語ならよく出る単語は1トークン、珍しい単語は数個に分割されます。日本語では1〜数文字が1トークンになることが多いですが、モデルの語彙によって大きく変わります。

多くのLLMはBPE（Byte Pair Encoding）という方法で語彙を作っています。最初は1文字（または1バイト）ずつに分けておき、学習データの中で「よく隣り合うペア」を見つけてはくっつけて新しいトークンにする、という作業を何万回も繰り返します。下のおもちゃで、その「くっつけていく」様子を試してみてください。

語彙の大きさはモデルごとに違います。GPT-2は50,257、Llama 3.1は128,256、Qwen3.5は248,320（いずれも config.json の vocab_size。パディングを含む場合があります）。語彙が大きいほど、日本語のような多言語の文章を少ないトークン数で表せる傾向があります。トークン数は料金や文脈の長さの上限に直結するので、「同じ文章でもモデルによってトークン数が違う」ことは覚えておきましょう。

特殊トークン

語彙の中には、文章の区切りや役割を示す特殊トークン（special tokens）もあります。Qwen3.5の tokenizer_config.json には、<|endoftext|>、<|im_start|>、<|im_end|> などが登録されています。モデルは「終わり」を意味するトークン（EOS）を出力すると、そこで生成をやめます。

チャットテンプレート：会話を1本の文字列にする

ChatGPTのような画面では「システム」「ユーザー」「アシスタント」と発言が分かれて見えます。でもモデルが受け取るのは、あくまで1本のトークン列です。会話の配列を、そのモデルが学習時に見た書式どおりの文字列に組み立てるのがチャットテンプレート（chat template）です。

Qwen3.5のテンプレートを通すと、会話はおおよそ次の形になります。

<|im_start|>system
あなたは親切なアシスタントです。<|im_end|>
<|im_start|>user
富士山の高さは？<|im_end|>
<|im_start|>assistant

最後の assistant の行で止めておくと、モデルは「ここからはアシスタントの発言だ」と理解して続きを書きます。書式はモデルごとに違い、同じベースモデルから作った派生モデル同士でも異なることがあります。テンプレートは Jinja という書式で書かれ、tokenizer_config.json や chat_template.jinja に入っています。GGUFファイルでは tokenizer.chat_template というメタデータとして埋め込まれます（第5章）。

推論モデルではテンプレートがさらに仕事をします。Qwen3.5のテンプレートには enable_thinking という切り替えがあり、思考用の <think> ブロックを入れるかどうかを制御します（第27章）。

Base版とInstruct版：同じ脳、違うしつけ

モデルの名前には -Base、-Instruct、-it、-Chat などが付いていることがあります。これは学習のどの段階まで終えているかを示しています。

Baseモデルに「富士山の高さは？」と聞くと、答えるかわりに「富士山の幅は？ 富士山の…」と質問の続きを書き始めることがあります。Baseは「続きを書く」ことしか教わっていないからです。

名前の付け方はメーカーによって違うので注意しましょう2026年10月時点。

• Meta: Llama-3.1-8B（Base）と Llama-3.1-8B-Instruct
• Google: gemma-4-E2B（Base）と gemma-4-E2B-it（instruction-tuned）
• Qwen: Qwen3.5-0.8B-Base と、何も付かない Qwen3.5-0.8B（こちらが事後学習済み）

Qwen3.5のように「何も付かない方が会話用」という命名もあるので、モデルカードで確認するのが確実です。事前学習や微調整の中身は第12章で扱います。

サンプリング：確率から1つを選ぶ

モデルが出すのは「次のトークンの確率の一覧」です。そこから実際に1つを選ぶ作業をサンプリング（sampling）といいます。いつも一番確率が高いものを選べば毎回同じ答えになり、確率に従ってくじ引きすれば変化のある文章になります。

• 温度（temperature）— 確率分布をとがらせたり平らにしたりするつまみ。低いほど堅実、高いほど冒険的。
• top-p — 確率の高い順に足していき、合計がpに達するまでの候補だけからくじを引く。
• top-k — 上位k個の候補だけからくじを引く。

推奨値はモデルごとに違います。Qwen3.5のモデルカードは、思考モードで temperature 0.6・top_p 0.95・top_k 20、非思考モードで temperature 0.7・top_p 0.8・top_k 20 という設定で評価したと書いています。迷ったら、モデルカードや generation_config.json の値から始めるのが無難です。