AIの導入が進まない理由として、よく挙げられるのは費用や操作の難しさです。ただ、仕組みが動いていて操作も簡単なのに、提案が使われないことがあります。そこには、精度とは別に、人がその予測をどう受け止めるかという問題があります。

本記事で扱う3本の研究は、いずれも統計的なアルゴリズムの予測や助言を題材にした実験です。生成AIやチャット型のAIを調べたものではありません。生成AIや社内の業務に当てはめる部分は、研究からの推論として分けて書きます。

AIの予測を、会議でどう扱うか

次のような場面を想像してください(説明のために作った例で、研究の題材ではありません)。

  • 営業会議で、AIが「今月の受注確度が高い順」を示す。担当者は「この顧客は自分が一番よく知っている」と順番を入れ替える
  • 需要予測が一度大きく外れ、次の会議から予測の数字が議題に載らなくなる
  • 管理職が「AIはこう言っているが、君はどう思う」と尋ね、誰も答えないまま話が流れる

どの場面でも、問われているのはAIの性能だけではありません。人がその予測をどこまで信頼して使うかです。この問いを実験で調べた研究があります。

なお、AIで書いた文章が相手にどう受け取られるかは、AIで書いた返信だと気づかれると、相手の評価はどう変わるかで扱っています。本記事で扱うのは、文章ではなく予測や判断です。

アルゴリズム回避 — 人の予測より正確でも選ばれない

Dietvorst 氏らは2015年の論文で、根拠に基づくアルゴリズムは人より正確に未来を予測できるのに、人の予測者とアルゴリズムのどちらかを選ぶ場面では人を選ぶことが多いという現象を取り上げ、「アルゴリズム回避」と名づけました。

5つの研究の参加者は、アルゴリズムの予測を見る、人の予測を見る、両方を見る、どちらも見ない、のいずれかの条件に置かれました。そのうえで、自分の報酬をアルゴリズムと人のどちらの予測に結びつけるかを決めました。

アルゴリズムの予測を見た参加者は、それへの信頼が低くなり、劣る人の予測者よりもアルゴリズムを選びにくくなりました。アルゴリズムが人を上回る様子を見た人でも、同じ結果でした。

ここで大切なのは、回避が特に強く現れたのが「予測の結果を見たあと」だという点です。正確さを実際に見ているのに避ける。性能を見せれば信頼されるという素朴な期待は、この結果とは合いません。

同じ間違いでも、機械への信頼は早く失われる

なぜ、より正確なものを避けるのでしょうか。論文が示した理由は、同じ間違いを見ても、人の予測者よりアルゴリズムへの信頼のほうが早く失われることでした。

どんな予測にも外れはあります。その外れを見たときの信頼の下がり方が、人とアルゴリズムでは同じではない。そのため、平均ではアルゴリズムが優れていても、目の前の外れのほうが判断に響きやすいと考えられます。

これを社内の場面に置き換えると、一つの推論が成り立ちます。ベテランの見込み違いは「今回は読みが外れた」で済むのに、AIの見込み違いは「やはり使えない」になりやすいのかもしれません。導入時に「高精度です」とだけ伝えると、最初の外れが、その約束の破綻に見えるおそれもあります。

反対の結果 — 人よりアルゴリズムの助言に従う

では、人はいつもアルゴリズムを避けるのでしょうか。Logg 氏らは2019年の論文で、一見すると逆の結果を報告しています。

6つの実験で、一般の人は、同じ助言でも、人からよりアルゴリズムからだと思うほうに強く従いました。著者らはこれを「algorithm appreciation(アルゴリズムの評価)」と呼んでいます。画像を見て数値を見積もる課題のほか、曲の人気や恋愛の相性を予測する課題でも見られました。研究者に結果を予想してもらうと逆を見込んでいた、という実験もあります。

二つの研究は矛盾しているように見えますが、調べている場面が同じではありません。

  • Dietvorst 氏ら(2015) — アルゴリズムの予測の結果を見たあとで、人とどちらに任せるかを選ぶ
  • Logg 氏ら(2019) — 見積もりや予測をする場面で、助言がアルゴリズムからか人からかによって、従う度合いがどう変わるかを見る

Logg 氏らの論文でも、効果が弱まる条件が示されています。一つは、比べる相手が他者の助言ではなく自分自身の見積もりであるときです。もう一つは、本人に予測の専門性があるときです。

二つの研究を直接比べた実験ではないので、以下は読み方の一つです。助言として初めて受け取る段階では、アルゴリズムは頼りにされることがある。しかし外れを見たあとや、自分の判断と競わせる場面では、避けられやすくなる。会議で問題になりやすいのは、まさに後者ではないでしょうか。

専門家ほど、アルゴリズムの助言を使わなかった

Logg 氏らの結果で実務に近いのが、専門家についての報告です。日常的に予測を仕事にしている経験豊富な専門家は、一般の人よりアルゴリズムの助言に頼らず、そのために正確さを損なっていました。

もちろん、この結果から「専門家の判断は当てにならない」とは言えません。ここで分かるのは、この実験の課題において、助言を使わなかったことが正確さを下げたという点です。

社内では、AIの予測を最もよく使ってほしい相手が、その分野の経験者であることが少なくありません。論文の課題と業務は異なるので推論になりますが、経験者ほど使わない可能性を見込んでおくことには意味があります。導入の成否を、若手の利用率だけで判断しないほうがよいでしょう。

少しでも修正できると、使われるようになる

回避を減らす方法を調べたのが、Dietvorst 氏らの2018年の論文です。3つの研究の参加者は、報酬のかかった予測課題で、自分の予測と、専門家が作ったアルゴリズムの予測のどちらを使うかを選びました。

結果は次のとおりです。

  • 予測を修正できるようにすると、不完全なアルゴリズムを使う人が大きく増え、その結果として成績も上がった
  • 修正できる範囲を厳しく制限しても、修正できるものを好む傾向は保たれた
  • 修正の幅の大きさには、選ばれやすさはあまり左右されなかった

誤解しやすい点があります。この研究は、人が手を加えれば予測が正確になると示したものではありません。成績が上がったのは、修正の余地によってアルゴリズムを使う人が増えたことの結果として報告されています。

なぜ修正の余地が効くのか — 結果への関与

論文は、修正できることが好まれるのは、結果をより大きく左右したいからではなく、いくらかでも関与したいからだと解釈しています。修正の幅に好みがあまり左右されなかったことが、その根拠です。

さらに、修正の自由を与えられた参加者には、次の変化も見られました。

  • 予測の過程への満足度が高まった
  • アルゴリズムのほうが優れていると考えやすくなった
  • その後の予測でもアルゴリズムを選びやすくなった

つまり、わずかでも手を入れられることが、その場の利用だけでなく、次の利用にもつながっていました。社内で考えるなら、「AIの結論に従うか、従わないか」の二択を迫らないことが一つのヒントになります。ただし研究の課題は予測であり、組織での導入を調べたものではありません。

社内にAIの予測を持ち込むときの伝え方

以上を踏まえて、導入時の伝え方を考えます。いずれも研究からの推論で、この形そのものの効果を確かめた研究はありません。

  • 外れることを先に伝える — 「外れは必ず出ます。平均でどれだけ当たるかで見てください」と最初に言う。外れを約束違反に見せないためです
  • 答えではなく、たたき台として出す — 「AIの結論です」ではなく「AIの案です。どこを直しますか」と尋ねる
  • 直す幅を小さく決める — 全面的な書き換えではなく、順位を数件まで入れ替えられるなど、手を入れる範囲を決めておく
  • 外れた例だけで評価しない — 人の判断と並べ、一定期間の成績で比べる場を設ける

導入の説明会なら、例えば次のように話せます。「この予測は外れることがあります。外れた月も含めて半年間、皆さんの見込みと並べて見ていきます。皆さんには、担当分の順位を三件まで動かしてもらいます」。短い説明ですが、外れの見込み、比べ方、手を入れる範囲の三つが入っています。精度の数字だけを伝える説明との違いは、聞き手が自分の役割を見つけられることです。

会議での言い方も変えられます。例えば「AIはこう言っているが、どう思うか」は、AIと担当者を対決させる問いになりがちです。「AIの案のうち、現場の情報で動かすとしたら、どの一件ですか」と尋ねれば、担当者は案に手を加える立場になり、経験も生かせます。

なお、生成AIの文章や要約にも同じことが言えるかは、この3本では分かりません。会議の記録をAIに任せるときの役割分担は、AI議事録時代に、会議で人がすべきことで扱っています。

人の判断を残す場所を決める

修正の余地を設けることと、すべてを人に戻すことは別です。Logg 氏らの専門家の結果は、助言を使わないことにも代償があると示しています。そこで、導入前に次の三つを決めておくことをおすすめします。これも研究の結果そのものではなく、実務上の提案です。

  • AIの案を初期値にする判断 — 繰り返しが多く、結果を後から確かめられるもの
  • 人が修正してよい範囲 — 修正した理由を一言残し、後で振り返る
  • 人が最後に決める判断 — 説明の責任が重いものや、データにない事情が大きく関わるもの

修正した理由を残すのは、誰の判断が正しかったかを裁くためではありません。AIの外れと人の修正の両方を同じ場で振り返ることで、一件の外れだけで評価が決まる状況を避けるためです。管理職自身が「ここは私が直しました。結果はこうでした」と話せば、修正も検証も当たり前のことになっていくと考えられます。

AIの予測を使ってもらう3つの視点 — 外れを見ると機械への信頼は人より早く下がる(ERR)、一度きりの外れでなく期間の成績で比べる(TRUST)、わずかでも手を加えられると使われやすい(MODIFY)を示す図
図|AIの予測を使ってもらう3つの視点

まとめ

人は、アルゴリズムの予測が外れるのを見ると、より正確であっても避けやすくなります。一方で、助言としては人より頼ることもあり、自分の判断と比べるときや専門性があるときには、その傾向が弱まります。わずかでも修正できるようにすると、使われやすくなることも示されました。

いずれも予測課題の実験で、生成AIへの適用は推論です。それでも、外れを先に伝え、手を入れる余地を残すことは、導入の場ですぐに試せます。

参考文献・出典

  • Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General, 144(1), 114-126. https://doi.org/10.1037/xge0000033
  • Logg, J. M., Minson, J. A., & Moore, D. A. (2019). Algorithm appreciation: People prefer algorithmic to human judgment. Organizational Behavior and Human Decision Processes, 151, 90-103. https://doi.org/10.1016/j.obhdp.2018.12.005
  • Dietvorst, B. J., Simmons, J. P., & Massey, C. (2018). Overcoming algorithm aversion: People will use imperfect algorithms if they can (even slightly) modify them. Management Science, 64(3), 1155-1170. https://doi.org/10.1287/mnsc.2016.2643