2026年7月号掲載
AI過大評価社会 AIには何ができて、何ができないか
Original Title :AI SNAKE OIL：What Artificial Intelligence Can Do, What It Can't, and How to Tell the Difference （2024年刊）
著者紹介
概要
AIは急速な発展を遂げた。未来を予測する「予測AI」は、今や企業や政府で広く利用されている。しかし、企業の宣伝通りに機能しない予測AIも少なくない。実際の性能は、どうなのか。本書は、人事採用や犯罪、病気のリスク予測など、様々な事例を紹介しながら、AIにできること・できないことを明らかにする。
要約
予測AIはなぜ間違うのか
近年、「生成AI」の技術は急速に発展してきた。生成AIは様々なタイプのコンテンツを数秒でつくりだす。その進歩は紛れもなく本物で驚くほかないが、製品としては未熟かつ不安定だ。
生成AIと対比される存在として「予測AI」がある。未来についての予測を生み出し、意思決定を補助する技術である。例えば人事採用なら、「この候補者を採用したら、どれだけの業績をあげるか」を、予測AIは教えてくれる。
予測AIはいまや企業にも政府にも利用されている。だが、有効に機能しているとはいえない。未来を予測するのは難しく、AIを使ったからといってその事実は変わらない。
そして問題は、予測AIが往々にして実態以上のものとして売り込まれ、人々の人生やキャリアを左右する意思決定に利用されていることだ。
予測AIの意思決定は極めて人間的
予測AIの素晴らしさを謳う主張は巷にあふれている。例えば、アップスタート社のモデルはローン申請を承認すべきかどうかを判断する。同社によれば、このモデルは従来の融資モデルよりも正確で、融資の可否の判断の4分の3で人間の意思決定は不要になるという。
こうした宣伝文句に反して、予測AIの開発においては多くの段階で人間の意思決定が入り込み、これらはしばしば公表されない。また、予測AIの訓練に使われるデータそのものが人間の裁量でつくられているため、AIの判断にバイアスがないことや公平であることは保証されない。
要するに、予測AIを用いた意思決定もまた、極めて人間的なものになりうるのだ。
不透明なAI予測
予測AIを開発する時、開発者は自分が予測したい結果を明確に指定する。だが問題は、このプロセスが過去のデータに依存していることだ。
これを顕著に示す例が、人事採用に利用されるAIだ。米国では、4社に3社が求人への応募者のスクリーニングに自動化ツールを利用している。履歴書を査定して応募者をふるいにかけるもの、動画面接で応募者を査定するものなどだ。
その効果があるのか、あるジャーナリスト集団が動画面接で使う採用支援AIツールを検証した。その結果は驚くべきものだった。応募者の外見にちょっとした変化を加える（例えばスカーフや眼鏡を身につける）だけで、AIツールが出力するスコアは劇的に変化したのだ。また、背景に本棚や絵画を追加するとスコアは上昇した。
動画の背景を変えただけで、その人が仕事でどれだけ成果をあげられるかが変わるわけがない。それなのになぜ応募者のスコアは変化したのか？
