第8章AIはどう判断するのか

言語モデルは何をしているのか

なぜアカリは、どこにも書かれていない数字を、自信たっぷりに答えたのでしょうか。それを理解するには、大規模言語モデル（LLM）が文章を作る仕組みを知る必要があります。

LLMがしていることは、根本的には次に来る言葉（トークン）の予測です。「体重20kgの小児の場合、1回あたり」という文章のあとに続く言葉として、どんな言葉がどれくらいの確率で来そうかを計算し、その確率に従って一つ選ぶ。選んだ言葉を文章に加え、また次を予測する。これを繰り返して文章ができあがります。

flowchart TD
  Q[質問の文章] --> M[言語モデル]
  M --> P[次の言葉の
確率分布]
  P --> S[一つ選ぶ]
  S --> A[文章に追加]
  A --> M
  A --> O[回答]

この仕組みの要点は、モデルが学ぶのは言葉の並び方のパターンだということです。「薬の量を尋ねる文章」のあとには「数字＋ミリグラム」が来ることが多い、という並び方は、膨大な文章から学べます。けれど、その数字がこの薬・この子にとって正しいかどうかは、並び方のパターンとは別の問題です。

流暢さは、正しさの証拠ではありません。文章がなめらかで具体的なほど、人は正しいと感じやすい。これが危険の核心です。

幻覚（ハルシネーション）

LLMが、もっともらしいけれど事実と異なる内容を生成することを幻覚（ハルシネーション）と呼びます。Huangらによる総説論文（2023年、ACM Transactions on Information Systemsに採録）は、LLMの幻覚を分類し、その原因、検出の方法、軽減策、そして検索で補強したLLMにも残る限界を整理しています。

なぜ幻覚が起きるのか。Kalaiらによる論文「Why Language Models Hallucinate」（2025年）は、ひとつの答えを示しています。現在の学習と評価の手順は、不確かさを認めるより、推測して答えることに報酬を与えている。多くのベンチマークは不確かさを表明した回答を不利に採点するので、モデルは試験の得意な受験生のように、わからなくても何か答えるよう最適化される、というのです。著者らは、幻覚専用の評価を増やすより、既存の評価の採点方法を変えるべきだと提案しています。

数字は特に危険です。「〇〇ミリグラム」の〇〇に入る数字は、文章の並び方としてはどれも同じくらい自然に見えます。1桁違っても、文章の流暢さはまったく変わりません。

確信度と較正

アカリは「確信度：高」と言いました。では、その「高」は信用できるのでしょうか。

ここで大切なのが較正（キャリブレーション）という考え方です。「確信度80%」と言った答えを100個集めたら、そのうち約80個が正しい。このとき、そのモデルは「よく較正されている」と言います。確信度が実際の正答率と一致しているかどうか、ということです。

• Guoら（2017年、ICML）は、現代のニューラルネットワークは10年前のものに比べて較正が悪い、つまり自信過剰になりやすいことを示しました。そして「温度スケーリング」という単純な補正が多くの場合に有効だと報告しています。
• Kadavathら（2022年）は、大きな言語モデルは、適切な形式の多肢選択や正誤問題ではよく較正されていること、また自分の答えが正しいかどうかや、質問の答えを知っているかどうかを、ある程度予測できることを示しました。ただし、新しい種類の課題では、その予測の較正は悪くなりました。

つまり、モデルの内部には「どれくらい自信があるか」の手がかりが含まれることはある。けれど、モデルが文章として「確信度：高」と書いたからといって、それが較正された数字である保証はありません。アカリの「高」も、次の言葉の予測で生成された文章の一部でした。

不確実性の下でどう決めるか

では、不確かな情報しかないとき、人とAIはどう判断すればよいのでしょうか。

期待値と、損失の非対称

意思決定論の基本は期待値です。選択肢ごとに「起こりうる結果 × その確率」を足し合わせ、いちばん良いものを選ぶ。ただし、医療や安全の判断では、結果の重さが非対称です。薬が少なすぎて効きが弱いことと、多すぎて害になることは、同じ重さではありません。確率が小さくても取り返しのつかない結果があるなら、その選択肢は避けるべきです。

可逆な判断と不可逆な判断

もう一つの物差しは、やり直しがきくかどうかです。

右下の枠に入る判断で、出典を示せないAIの答えを使ってはいけません。アカリの誤りが危うかったのは、まさにこの枠の質問に、根拠のない答えを確信度「高」で返したからです。

AIの役割を決めておく

この事件のあと、霧ヶ丘ではアカリの役割を次のように決めました。

1. 出典のない数字は言わない。数字を答えるときは、どの資料のどこに書かれているかを必ず示す。示せなければ「わかりません」と言う。
2. 確信度には理由を添える。「高」「中」「低」だけでなく、何に基づいてそう言うのかを書く。
3. 不可逆な判断は人が決める。アカリは選択肢、根拠、不確かさを示すところまで。
4. 人は確かめる。特に数字は、元の資料と突き合わせる。

1つ目のルールを技術で支えるのが、第10章で作る「調べてから答える」仕組み（RAG）です。