第12章人間はどこまで必要か

自動化の皮肉

権藤の提案は、筋が悪いわけではありません。人間の判断には疲れや偏りが入りますし、計算は機械のほうが速く正確です。それでも、仕事を機械に任せると予想外の新しい問題が生まれることが知られています。

1983年、心理学者のリサンヌ・ベインブリッジ（Lisanne Bainbridge）は、工場やプラントの自動化を観察して「自動化の皮肉（Ironies of Automation）」という短い論文を書きました。40年以上たった今も引用され続ける、自動化研究の古典です。要点は次のとおりです。

• 仕事の大部分を自動化すると、かえって深刻な問題が生まれる。人間に残るのは、機械にできない難しい例外処理だけになる。
• 技能が錆びる。普段の仕事で練習する機会がなくなるので、いざというときに手が動かない。
• 監視は疲れる。何も起きない画面を見張り続けるのは、人間が最も苦手な仕事のひとつ。
• 訓練の負担は減らない。めったに起きないが決定的な介入に備えて、むしろ多くの訓練が要る。

配給にあてはめると、こうなります。アカリが毎月の配分を決めるようになれば、誰も配分の計算をしなくなる。一年後、アカリが止まったり、台帳の前提が崩れたりしたとき、その計算を引き受けられる人がいない。

自動化の「段階」と「水準」

「AIに任せるか、人間がやるか」の二択で考えると、議論はすぐ行き詰まります。2000年にパラスラマン（Parasuraman）、シェリダン（Sheridan）、ウィケンズ（Wickens）が提案した枠組みは、自動化を4つの機能（段階）に分け、それぞれでどの程度（水準）自動化するかを別々に決めよう、というものです。

1. 情報の取得：データを集める
2. 情報の分析：集めたデータを整理し、状況を判断する
3. 決定と行動の選択：どうするかを選ぶ
4. 行動の実行：選んだことを実際に行う

水準は「人間がすべて手で行う」から「機械が完全に自律して動き、人間は関与しない」までの連続した目盛りです。同じ第3段階でも、「候補を提案するだけ」の機械と、「一定時間内に人間が拒否しなければ実行する」機械とでは、まったく性格が違います。

霧ヶ丘の配給を、この枠組みで分解してみましょう。

ポイントは、計算の得意なところだけを深く自動化し、決定の段階では人間が選ぶことです。分析の質は上がり、責任の所在は人間に残ります。

自動化バイアス：機械の答えを疑えなくなる

人間には、自動化されたシステムの提案を優先しがちな傾向があります。これを自動化バイアスと呼びます。典型的な失敗は2種類です。

• 実行の誤り（commission error）：機械の指示に、他の情報で確かめずに従ってしまう。
• 見落としの誤り（omission error）：機械が警告しなかった問題に、自分も気づかない。見張りをやめてしまうからです。

第8章で、アカリが根拠のない数字を自信たっぷりに答えた場面を思い出してください。あのとき誤りに気づけたのは、ハルが自分の知識で答えを確かめたからでした。機械の提案が正しいことが続くほど、人は確かめなくなります。これが一番危険です。

「機械は公平」は本当か

権藤が期待したのは、機械の公平さでした。確かにアカリは、顔見知りだからといって配分を増やしたりはしません。けれど、機械の判断が公平になるかどうかは、次の二つで決まります。

• 何を入力にしているか：台帳に載っていない人、古い情報のままの世帯は、計算の上では「いない」ことになります。データの漏れは、そのまま配分の漏れになります。
• 何を「良い配分」と定義したか：人数で均等に割るのか、重労働の人に多く配るのか、子どもや病人を優先するのか。これは計算ではなく価値の問題で、誰かが決めて機械に教えた結果です。

つまり「機械が決めた」ように見える決定の中には、人間が決めた前提が必ず埋め込まれています。前提を隠したまま機械に決めさせると、揉めごとが消えるのではなく、揉めるべき論点が見えなくなるだけです。前提を表に出し、寄り合いで議論できるようにすることが、本当の意味での公平につながります。

責任と監査：「誰に文句を言えばいいか」

アカリが権藤に投げた質問は、AIを社会の仕組みに組み込むときの核心です。決定には、次の3つがそろっている必要があります。

• 説明：なぜその決定になったのか、根拠と計算を誰でも見られる。
• 異議申し立て：納得できない人が、決定を見直してもらう窓口がある。
• 責任者：最終的に「私が決めた」と言える人間がいる。

人間が判断の流れの中に入っている形をヒューマン・イン・ザ・ループ、機械が動き人間は監視して必要なときに止める形をヒューマン・オン・ザ・ループと呼ぶことがあります。どちらを選ぶかは、第8章で見た「可逆か、不可逆か」で決めるのが基本です。配給のように人の暮らしに直接響き、やり直しのきかない決定ほど、人間を流れの中に置くべきです。

flowchart TD
  D[台帳と在庫] --> A[アカリが案と理由を作る]
  A --> R[寄り合いが選ぶ]
  R --> P[決定と理由を掲示]
  P --> X[配る]
  P --> O{異議あり?}
  O -- はい --> C[台帳を直す]
  C --> D
  O -- いいえ --> X