「AIの回答、毎回ファクトチェックが必要？」使い道で、確認の重さが変わります

支援先の社長から、こう言われたとします。

「AIって、けっこう間違えますよね。だから全部チェックしないと、と思っているんです。でも、それをやると自分で調べるのと変わらないんですよ」

そうなんですよね。全部を確認するなら、自分で調べたほうが早い。

私なら、こう答えます。

「全部を同じ重さで確認しなくて大丈夫です。何に使うかで、確認する場所を決めましょう」

「必ず確認しましょう」は、続かない

生成AIの解説は、たいてい「出力は必ず確認してください」で終わります。

そのとおりなのですが、全部確認してください、と言われても、毎回続けるのは難しい。そのうち、重要な資料でも確認を飛ばすようになります。

間違えたときに困るところだけ、人がきちんと確認する。

そのためには、まずAIの答えを何に使うのかを決めます。

すぐ気づく間違いもあれば、気づきにくい間違いもある

決算書と売上明細をAIに読ませて、現状を整理させたとします。

戻ってきた文章に食品衛生の話が混ざっていれば、金属加工業の資料なので、すぐに「これは違う」と気づきます。笑って消せます。

厄介なのは、営業利益率が1％ずれているような間違いです。文章を読んでも違和感がありません。前後の日本語も整っています。

AIは、情報が足りないところを、それらしく補ってしまうことがあります。しかも、文章を読んだだけでは、どこまで確かなのか分かりません。

こうした、もっともらしい形で出てくる事実誤りをハルシネーションと呼びます。

文章がきれいでも、数字や事実まで正しいとは限りません。

そのAIの答え、誰に見せますか

AIが出してきた文章を、自分のメモにするのか、支援先の社長に渡すのかで、確かめ方は変わってきます。

アイデア出しなら、欲しいのはまず案の数です。一つひとつの数字を検算する必要はないでしょう。

一方、交渉や申請に使う数字や制度の内容が間違っていたら困ります。そこは元の資料まで戻って確認します。

元の資料と突き合わせるところ

私なら、まずこのあたりを確かめます。

• 数字（計算結果、比率、合計）
• 日付と期間
• 制度名、法令名、補助金の要件
• 人名、会社名、商品名

ここは、元の資料と突き合わせれば見つけやすいところです。

ただ、それだけでは見つからないものもあります。

元の資料だけで、そこまで言えますか？

品目別の原価を記録していない会社の資料をAIに読ませた時、

「この商品は赤字の可能性が高い」

と出力してきたとします。

数字そのものは合っています。元の資料と突き合わせても、計算間違いは出てきません。文章だけ読めば、経営分析として違和感もありません。

でも、その会社には品目ごとの材料使用量も作業時間もありません。それなら、その資料だけで商品の採算までは分かりません。

この資料だけなら、

「品目別の原価が分からないため、採算は判断できません」

で本来は止めるところです。

実際には赤字かもしれません。ですから、「赤字の可能性が高い」という文章そのものが間違いだとは限りません。

ただ、この資料だけでは、そこまで言い切れない。

こういうところは、数字を一つずつ照合しても見つけにくい。

「元の資料にないことまで、言い切っていませんか？」

という目で、もう一度見直します。気になったところだけ、元の数字や記述に戻って確かめます。

「出典が付いているから大丈夫」と言われたら

社内の文書を読み込ませて、その中から答えさせる仕組みがあります。回答と一緒に、どの文書をもとにしたのかが示されるものです。RAGと呼ばれます。

どこを確認すればいいかが分かるので、確かめる手間は減ります。

ただ、その資料自体が古ければ、回答も古い内容になります。

たとえば、制度改正前のマニュアルを読ませていれば、AIがそのマニュアルどおりに答えても、現在の制度とは違っているかもしれません。

出典が付いていても、その文書を開かなければ、いつの情報なのか、AIの回答と本当に合っているのかは確認できません。

確認の手間を減らすには

• 元資料を一緒に渡して、「この資料に書かれていないことは書かないでください」と条件をつける
• 数字はAIに書かせず、文章の骨組みだけ作らせて、あとから人が入れる
• 元資料を渡しているなら、「この回答の根拠になった箇所を示してください」と聞き、示された場所を自分で開く
• 「これ、合っていますか」とAIに聞き返すだけで終わらせない。元の資料で確かめる

外に出す資料なら、最後は人が確認します。

支援先には、こう聞いてみる

「そのAIの答え、誰に見せますか」

「元の資料にないことまで、言い切っていませんか」

「間違っていたら、あとで直せますか」

第1回で挙げた4つの問いのうち、今回扱ったのは③「出力を何に使うか」です。

次回は①に戻ります。「では結局、何なら入れていいのか」へ。