第10章RAGと知識管理

LLMの記憶は「にじんだ記憶」

第8章で見たように、大規模言語モデル（LLM）は、次に来る言葉を予測しながら文章を作ります。学習で得た知識はモデルの重み（パラメータ）の中に分散してしまい込まれていて、「この知識はどの本の何ページから来たか」を取り出すことはできません。

2020年、パトリック・ルイス（Patrick Lewis）らは、この限界をこう整理しました。モデルの重みにしまわれたパラメトリックな記憶は、知識に正確にアクセスしたり、根拠を示したり、内容を更新したりするのが苦手だ。そこで、外部の文書の索引（ノンパラメトリックな記憶）を検索器で引き、その結果を見ながら文章を生成する方式を提案しました。これがRAG（Retrieval-Augmented Generation、検索拡張生成）です。この論文では、ウィキペディアの文章を密なベクトルの索引にして使い、オープンドメインの質問応答で当時の最高水準の成績を報告しています。

flowchart TD
  Q[質問] --> R[検索器]
  K[(手元の資料
百科事典・マニュアル)] --> R
  R --> TOP[関連する文章
上位数件]
  TOP --> C{根拠は十分?}
  C -- はい --> G[LLMが文章を生成]
  G --> A[回答＋出典]
  C -- いいえ --> N[わかりません]

人間にたとえるなら、「うろ覚えで答える人」を「本を開いてから答える人」に変える仕組みです。記憶力そのものは変わりません。変わるのは、答える前の手順です。

オフラインの本棚：Kiwixとウィキペディア

RAGの質は、検索する本棚の質で決まります。インターネットのない世界で、最も大きな本棚になりうるのが、オフライン版のウィキペディアです。

Kiwixは「インターネットが届かない場所で自由な知識を利用できるようにする」ことを掲げる非営利団体で、ウィキペディアなどのウェブサイトをZIMという形式の1つのファイルにまとめて配布しています。ZIMは圧縮されていて、全文検索用の索引を含めることもできます。2026年10月時点で、Kiwixの配布サーバーに置かれているウィキペディアの最新ファイルは次の大きさです。

日本語版なら、画像入りでも30GB足らず。手のひらに乗るSSDやmicroSDカードにも収まる大きさです。アカリのSSDに入っていたのも、このファイルでした。Kiwixのアプリでそのまま読めますし、検索システムの材料にもなります。

本棚を引けるようにする：チャンク分割と索引

百科事典の記事やマニュアルを丸ごとLLMに読ませることはできません。一度に読める長さに限りがあり、長いほど計算に時間と電力がかかるからです。そこで文書を、数百字程度のチャンク（かたまり）に切り分けます。

• 切り方：見出しや段落の区切りで切ると、意味のまとまりが崩れにくい。前後のチャンクを少し重ねて切る方法もよく使われます。
• 付け札（メタデータ）：各チャンクに「どの資料の、どの節か」を必ず付けます。これが後で出典として表示されます。
• 索引：チャンクを検索できる形にしておきます。方法は大きく二つあります。

二つの探し方：キーワードと意味

キーワード検索（BM25）

昔ながらの検索は、質問の言葉が文書に含まれているかを数えます。その代表がBM25という採点方式です。ある言葉が文書に何度も出るほど点が上がる（ただし、上がり方はだんだん頭打ちになる）、多くの文書に出るありふれた言葉ほど軽く扱う（逆文書頻度、IDF）、長い文書は少し割り引く、という3つの工夫でできています。1970〜80年代にスティーヴン・ロバートソンらが発展させた確率的な検索の理論に基づき、ロンドン大学シティ校のOkapiという検索システムで最初に使われました。

キーワード検索は軽くて速く、型番や薬品名のような固有の言葉に強い一方、「水を消毒したい」と「煮沸」のように、言い方が違うと見つけられない弱点があります。

埋め込み検索（ベクトル検索）

もう一つは、文章を数百〜千個ほどの数の並び（埋め込みベクトル）に変換し、意味が近い文章ほどベクトルも近くなるようにする方法です。質問もベクトルにして、近いチャンクを探します。言い方が違っても意味が近ければ見つかります。

埋め込みを作るモデルには、手元の小さな計算機で動くものがあります。

ベクトルの近さを速く調べるには、MetaのFAISSや、SQLiteの拡張として動くsqlite-vec（2026年10月時点ではバージョン1未満の開発中）のようなライブラリが使えます。どちらもインターネット接続なしで動きます。

組み合わせる（ハイブリッド検索）

キーワード検索と埋め込み検索は得意なことが違うので、両方の結果を合わせて並べ直すのが実用的です。アカリでは、電力が乏しい日はキーワード検索だけ、晴れた日は埋め込み検索も使う、という切り替えをしています。

出典を示し、「わかりません」と言う

検索しただけでは、まだ半分です。RAGを信頼できる道具にするのは、次の三つの約束です。

1. 根拠の範囲で答える：検索で見つかった文章に書かれていることだけを答えに使うよう、LLMに指示する。
2. 出典を示す：答えのどの部分がどの資料から来たかを表示し、人が原本を確かめられるようにする。
3. 見つからなければ答えない：検索結果の一致度が低いとき、「手元の資料にはありません」と返す。

三つめが特に大切です。RAGを使っても、LLMが見つかった文章を読み違えたり、資料にない内容を混ぜたりする可能性はなくなりません。だから出典を表示し、最後に確かめるのは人間という分担を崩さないことが要になります。ハルの赤ペンは、仕組みができた後も工房の机に置かれたままです。

本棚を新しくする：スニーカーネット

RAGのもう一つの利点は、モデルを作り直さなくても知識を更新できることです。新しい資料をチャンクに切って索引に足せば、次の質問から使われます。

では、ネットのない世界で新しい資料をどう手に入れるか。答えは昔からあります。記録媒体を人が運ぶのです。USBメモリやディスクを物理的に持ち運んでデータを移すことを、俗にスニーカーネットと呼びます。計算機科学者のアンドリュー・タネンバウムは1989年の教科書に「高速道路を突っ走る、テープを満載したステーションワゴンの帯域幅を侮るな」と書きました。数十GBのZIMファイルも、SSDに入れて歩いて届ければ、どんな回線より確実です。

運ぶときには、いつの版かを必ず記録します。古い資料と新しい資料で内容が食い違うとき、どちらを信じるかを判断する手がかりになるからです。