マルチモーダル：画像・音声・動画を扱うLLM

マルチモーダルLLMとは

「モダリティ（modality）」は情報の種類のことです。テキストだけを扱うモデルはシングルモーダル、複数を扱うモデルはマルチモーダルと呼ばれます。

注意したいのは、入力できることと出力できることが別だという点です。画像を読めても画像は描けないモデルや、音声を聞けても声は出せないモデルはたくさんあります。モデルカードの「入力: テキスト・画像／出力: テキスト」のような表記を必ず確認しましょう。

画像を「読む」仕組み：エンコーダとプロジェクタ

現在の多くのVLMは、次の3つの部品でできています。

flowchart TD
  I["画像"] --> P["小さなパッチに分割"]
  P --> E["ビジョンエンコーダ
パッチごとの特徴ベクトル"]
  E --> J["プロジェクタ
LLMの言葉の空間へ変換"]
  T["質問テキスト"] --> K["トークン埋め込み"]
  J --> L["LLM本体
画像トークンと文字を一緒に読む"]
  K --> L
  L --> O["回答テキスト"]

1. ビジョンエンコーダ（vision encoder）: 画像を小さな正方形（パッチ）に切り分け、それぞれを数値ベクトルにします。土台は2020年の Vision Transformer（ViT、論文名は「画像は16×16の単語に値する」）で、画像と説明文の対応を学習した CLIP などが広く使われてきました。
2. プロジェクタ（projector）: エンコーダの出力を、LLMが読めるベクトルの形（埋め込み空間）に変換する小さな層です。2023年の LLaVA は、学習済みのエンコーダとLLMをこの変換層でつなぐだけでも画像についての会話ができることを示しました。
3. LLM本体: 変換された画像ベクトルを、文字のトークンと同じ列に並べて読みます。これが画像トークンです。

部品の分け方には別の流儀もあります。Meta の Llama 4 は、テキストと画像のトークンを最初から1つのモデルで一緒に学習するアーリーフュージョン（early fusion）を採用しました。Google の Gemma 4 の 12B Unified モデルは、専用のエンコーダを使わず、画像のパッチや音声波形を軽い線形層で直接LLMの埋め込み空間に入れる「エンコーダなし」の構成だとモデルカードで説明されています2026年10月時点。

画像1枚は何トークン？

画像トークンはテキストのトークンと同じように課金され、コンテキストウィンドウも消費します。何トークンになるかはモデルやサービスごとに決まっています2026年10月時点。

Claudeの数え方で1000×1000ピクセルの画像を計算すると、36×36＝1,296トークンです。日本語の文章なら、ざっと原稿用紙数枚分のトークンに相当します。スクリーンショットを何十枚も送るエージェント（第28章）では、画像トークンがコストの大半を占めることも珍しくありません。

OCRと文書理解：読むだけでなく「わかる」

紙やPDFから文字を取り出す技術をOCR（光学文字認識）と呼びます。従来のOCRは「文字を写し取る」専門の道具でしたが、VLMは表の構造、グラフの意味、請求書のどこが合計欄かといった文書の理解まで一度にこなせます。Qwen2.5-VL の技術報告は、請求書・帳票・表からの構造化データ抽出を主な機能に挙げています。

OCRはLLMの「記憶」を広げる道具にもなりえます。2025年の DeepSeek-OCR 論文は、長い文章を画像として渡せばテキストより少ないトークンで済むのでは、という「光学的な圧縮」を検討しました。文字トークン数が画像トークン数の10倍以内なら約97%の精度で文字を復元できた、と報告しています。

音声：聞く・話す・会話する

音声の入口が音声認識（ASR: Automatic Speech Recognition）です。OpenAI が2022年に公開した Whisper は、インターネット上の68万時間分の多言語音声と書き起こしで学習し、追加学習なしでも多くの評価で高い頑健性を示しました。重みが公開されたため、ローカルの文字起こしツールの定番になっています。

音声で会話するAIの作り方は、大きく2通りあります。

flowchart TD
  U["ユーザーの声"] --> A1["音声認識で文字に"]
  A1 --> A2["LLMが文字で回答"]
  A2 --> A3["音声合成で声に"]
  U --> B1["音声対応モデルが
声を直接理解して
声で直接返す"]
  A3 --> R["返答の声"]
  B1 --> R

パイプライン型は部品を自由に選べ、途中の文字をログとして残せるのが利点です。一方で段階ごとに待ち時間が積み重なり、声の調子や感情といった情報は文字にした時点で落ちてしまいます。

speech-to-speech型は、音声のまま理解して音声で返すので応答が速く、相づちや割り込みにも対応しやすくなります。2024年5月に発表された GPT-4o の「o」は omni（全部）の意味で、テキスト・音声・画像を1つのモデルで扱うことを打ち出しました。OpenAI の Realtime API は、こうした音声対話を WebRTC や WebSocket で実装するための仕組みです2026年10月時点。オープンなモデルでは、考える部分（Thinker）と話す部分（Talker）を分けた Qwen3-Omni などがあります。

動画：パラパラ漫画として読む

動画は、多くのモデルにとって「時間順に並んだ画像（フレーム）」です。一定間隔でフレームを抜き出し、それぞれを画像トークンにして、時刻の情報を添えて並べます。音声トラックを別に読むモデルもあります。

コストの目安として、Gemini API のドキュメントは動画を1秒あたり263トークン、音声を1秒あたり32トークンと説明しています2026年10月時点。この計算だと10分の動画は約15万8千トークンです。長い動画では、必要な区間だけ切り出す、フレームの間隔を広げるといった工夫が効きます。Qwen2.5-VL や Qwen3-VL の技術報告は、数時間の動画を扱い、秒単位で出来事の位置を特定できることを特徴に挙げています。

画像を「描く」のは別の技術

「画像を理解する」と「画像を生成する」は、名前は似ていても中身が違います。

拡散モデルは、2021年の潜在拡散モデル（latent diffusion）の論文以降、画像生成の主流になりました。一方、Meta の Chameleon は画像も文字も同じトークン列として扱い、1つのモデルで理解と生成の両方をこなす方向を示しました。OpenAI は2025年3月、GPT-4o にネイティブに組み込んだ画像生成を発表し、従来の DALL·E 3 とは別のアプローチだと説明しています。内部構造の詳細はあまり公開されていません。

ローカルで動かす：mmprojとOllama

マルチモーダルモデルは手元のPCでも動かせます。llama.cpp（第7章）では、マルチモーダル入力を libmtmd というライブラリが受け持ち、画像・音声に加えて動画入力にも対応しています2026年10月時点。

# Hugging Face から mmproj ごと取得して起動（llama.cpp）
llama-server -hf ggml-org/gemma-3-4b-it-GGUF

# ローカルのファイルを指定する場合は2つを渡す
llama-server -m gemma-3-4b-it-Q4_K_M.gguf --mmproj mmproj-gemma-3-4b-it-Q4_K_M.gguf

# Ollama なら画像のパスをプロンプトに書くだけ
ollama run gemma4 ./image.png what is in this image?

llama.cpp の公式ドキュメントには、Gemma 3／Gemma 4、Qwen2.5-VL、Llama 4 Scout、InternVL などの画像対応モデル、Voxtral や Qwen3-ASR などの音声対応モデル、両方に対応する Qwen2.5-Omni・Qwen3-Omni が変換済みGGUFとして並んでいます2026年10月時点。Ollama（第8章）も2025年に独自エンジンでマルチモーダル対応を強化し、API では画像を base64 の images 配列で渡します。

モデルを選ぶときに確かめること

マルチモーダルモデルは対応範囲がモデルごとに大きく違います。用途ごとに、次の点をモデルカードやドキュメントで確認しましょう。

精度は、実際の画像や音声を数十件集めて試すのがいちばん確実です。評価セットの作り方は第30章で扱います。