AIが出した答えを、そのまま承認していないか
参考情報のつもりで出させた数字が、いつのまにか結論になっている。 誰も嘘をついていないし、手を抜いたつもりもない。それでも、そうなる。
これは大企業の話でも、遠い国の話でもありません。 請求書の自動読み取り、勤怠の異常検知、見積の自動算出—— すでに手をつけている会社なら、同じ形がもう社内にあります。
先に結論を書きます。AIに任せてよいかどうかは、精度では決まりません。 決まるのは、まちがえたときに気づけるか、覆せるか、覆した記録が残るかの3つです。 この3つがあれば、そこそこの精度でも安全に任せられます。無ければ、精度がいくら高くても危ない。
「参考値のつもりだった」で済まなくなった例
米国で、医療保険の給付審査にアルゴリズムを使っていた大手保険会社が集団訴訟の被告になっています。 争点は、その仕組みが患者への給付を打ち切る判断に事実上使われていたのかどうかです。
原告側の主張
不服申立てが行われた却下のうち、およそ9割が最終的に覆ったとされています。 医師の判断より機械の出力が優先される場面があった、というのが訴えの中身です。
会社側の反論
給付の可否を決めるのに使っているのではなく、医療者向けの参考情報にすぎない。 判断はあくまで公的な基準と契約条件に基づいている、という立場です。
この裁判はまだ続いていて、どちらが正しいかをここで決めることはできません。 ただ、経営の側から見ると、興味深いのは「両方とも本当かもしれない」ということです。
会社の規程には「参考情報である」と書いてあった。現場もそのつもりだった。 それでも、出てきた数字がそのまま通っていった——という筋書きは、十分にありえます。 そして、その筋書きこそが、日本の中小企業でいま起きていることと同じ形をしています。
※ 係争中の事案です。ここに書いたのは訴訟における双方の主張であり、事実認定ではありません。 出典はページ末尾に記載しています。
参考値が結論に変わる、3つの条件
機械の出力が「参考」から「結論」に変わるのは、誰かが決断したからではありません。 次の3つが揃うと、放っておいても勝手にそうなります。
1. 件数が多い
1日に3件なら全部見ます。300件になった瞬間に、全部は見られません。 自動化を入れる動機はたいてい件数なので、この条件はほぼ必ず満たされます。
2. 承認する人が忙しい
承認は、たいてい他の仕事を抱えている人の仕事として追加されます。 自分の本来業務が詰まっているとき、画面に並んだ「問題なし」を1件ずつ検算する人はいません。
3. 覆すほうが、承認するより手間がかかる
これが決定打です。承認はボタン1つ、差し戻しは理由を書いて別の人に説明して待つ。 このとき、正しいことをするコストが、流すコストより高くなっています。 人はコストの低いほうへ流れます。倫理の問題ではなく、設計の問題です。
3つ目を放置したまま「ちゃんと確認してください」と言っても、何も変わりません。 変えるべきは人の心構えではなく、覆すコストのほうです。
同じ形は、もう社内にあります
保険審査のような重い話でなくても、構造はまったく同じです。よくあるのはこの3つです。
請求書の自動読み取り
金額と日付を機械が拾い、担当者が確認して登録する。 最初の1か月は全部見ます。3か月目には、桁がおかしいものだけ見るようになります。 半年後には、見ていません。読み取りミスは、支払ってから気づきます。
勤怠の異常検知
打刻漏れや長時間労働をアラートで出す。最初は効きます。 ただ、アラートが1日20件を超えたあたりから、全部まとめて既読にされます。 本当に危ない1件が、19件のノイズに埋まります。
見積の自動算出
過去実績から単価を出して見積書を作る。出てきた数字は、たいていそのまま客先に出ます。 現場が「この物件は条件が違う」と思っても、直すには根拠を用意して上長に説明が要る。 直さないほうが早いので、直されません。
どれも、機械の精度が悪いという話ではありません。 精度は上がっているのに、まちがいを拾う経路だけが最初から無いのです。
任せてよい業務を見分ける、3つの原則
「AIに任せていい仕事・いけない仕事」を業務の名前で分けようとすると、必ず失敗します。 同じ請求書処理でも、条件次第で安全にも危険にもなるからです。分けるべきは業務名ではなく、次の3つです。
原則1 ── まちがえたとき、誰が気づくか
気づく人が業務の流れの中にいるかを確かめます。 「あとで監査で分かる」は該当しません。それは気づくのではなく、手遅れになってから発覚するだけです。 請求書の金額なら、支払う前に金額を見る人がいるか。見積なら、客先に出す前に現場の人が目を通すか。
原則2 ── 気づいた人が、覆せるか
覆す経路が、承認する経路と同じくらい簡単かを見ます。 差し戻しに稟議が要るなら、実質的に覆せません。 ここを整えるだけで、承認は形式から中身に戻ります。前の章の3つ目の条件を潰すのが、ここです。
原則3 ── 覆した記録が、残るか
ここがいちばん抜けます。そして、いちばん効きます。 覆した件数が数えられなければ、その機械が使いものになっているかを永久に判断できません。 冒頭の訴訟で「9割が覆った」という数字が出てきたのも、不服申立てという形で記録が残っていたからです。 記録が無い会社では、同じことが起きていても、誰も気づかないまま何年も続きます。
今日できる確認： いま自動で数字を出している仕組みについて、直近3か月で人が結果を覆した件数を数えてください。 ゼロなら、承認は機能していません。 機械が完璧なのではなく、誰も見ていないだけです。
当社が、この線をどう引いているか
言うだけでは意味がないので、自分たちが作ったもので示します。
請求と入金の突き合わせ
AIに読ませるのは突き合わせの候補を出すところまでで、消し込みの確定は人がやります。 読み取りを速くする代わりに、確認は残す。原則1と2を先に満たしてから速くしています。
入金消込の実物を見る（サンプル3ファイル＋プロンプト）どこまで任せるかを、段階で決める
このページで書いた線引きを、もう少し引いた場所から見ると「自社はいまどの段にいるか」の話になります。 東京大学の松尾豊教授が示している5段階を手がかりに、現在地と次の一手を決めるための地図を別に置いています。
AX1〜5で自社の現在地を決める「どこまで任せるか」を会議で決めるための1枚
AIをどの段階まで自社に入れるかを、その場で決めるためのシートです。読ませてよいデータの線引きメモも入っています。
- 5段それぞれの「判定する質問」と、できている/途中/まだ のチェック欄
- 各段の「次の一手」— 明日から何をするかが書いてある
- 止まっている業務を4つ書き出して、1つに絞るための記入欄
- AIに読ませてよいデータ／読ませないデータの線引きメモ
PDF（A4・2枚／印刷して配る用）と Excel（書き込む用）の2種類をお渡しします。 費用はかかりません。
社内で説明するときは、そのまま使って構いません。
「これ、任せていいのか分からない」のままで結構です
いま自動で出している数字がひとつでもあるなら、その画面を見せていただくのがいちばん早いです。 覆した記録が取れているかどうかは、たいてい画面を見れば分かります。
初回はオンラインで状況を伺うところから始めます。 そのままで問題ないと判断したら、そのようにお伝えします。
任せてよいかを見てもらうお困りごとシリーズ
台帳をぜんぶ見る症状ではなく「これは何の問題なのか」を定義し、実際に見えるようにしたところまでを1本ずつ書いています。
AIが出した答えを、そのまま承認している
参考値のつもりで出させた機械の答えが、いつのまにか結論になっている
人が採れない。増員という選択肢が最初から無い
足りないのは人ではなく、今いる人数で回る形に組み替えられた業務
見せられるもの：168時間配置ビュー／入金消込サンプル 08ホームページはある。でも、問い合わせが来ない
問い合わせ数だけでなく、商談・受注につながる場所まで育てる
見せられるもの：Mercury PDCE（0件 → 半年 → 月30件） 07新サービスを作っても、客が来ない
発注者が探す市場かを、作る前に確かめられていない
見せられるもの：Mercury PDCE（0件 → 半年 → 月30件） 09請求書を出したあと、入金予定を手で打ち直している
請求と入金が別の場所にあり、繋いでいるのが担当者の頭の中だけ
見せられるもの：サンプル3ファイル＋プロンプト（その場で試せる） 10サーバーが古いと言われたが、どこも引き受けてくれない
サーバーが古いのではなく、Webと業務とメールが同じ場所で絡んで作業範囲を確定できない
見せられるもの：老朽サーバーのAWS移行（調査から本番切替まで） 01人を増やしても、現場が楽にならない
人手不足ではなく、時間帯ごとの配置が見えていない
見せられるもの：168時間 配置ビュー 02案件の利益が、締めてからしか分からない
見積・原価・入金が別の場所にあり、突き合わせが月末しかできない
見せられるもの：Mercury-Link 03ベテランの頭の中にしか、正解がない
文書がないのではなく、文書に聞けない
見せられるもの：マニュアルRAG 06古いシステムを、もう誰も直せない
システムが古いのではなく、仕様がプログラムの中にしかない
見せられるもの：業務ファイル棚卸しツールどのお困りごとから入っても、進め方は同じです。 経営のお困りごとに伴走する進め方 にまとめています。 そもそもAIをどこから始めればいいか決まっていない場合は、 AXの現在地 （松尾豊教授のAX1〜5で自社の位置を決める）から読んでください。
よくいただく質問
AIに判断させてはいけない業務は、どう見分ければいいですか
3つ確かめてください。まちがえたときに気づく人がいるか。気づいた人が覆せるか。覆した記録が残るか。この3つが揃わない業務は、まだ機械に渡す段階ではありません。逆にこの3つがあれば、精度がそこそこでも安全に任せられます。見分ける基準は精度ではなく、まちがいの拾い方のほうです。
うちは人が最後に承認しているので大丈夫ですよね
そこがいちばん危ないところです。承認の枠があることと、中身が見られていることは別です。件数が多く、現場が忙しく、差し戻すと自分の手間が増える。この3つが揃うと、承認は形だけになります。悪意ではなく、そうなるようにできているだけです。確かめ方は簡単で、直近3か月で機械の出力を覆した件数を数えてみてください。ゼロなら、承認は機能していません。
覆した記録を残すと、現場の手間が増えませんか
増やし方を間違えなければ増えません。理由を長文で書かせると誰も書かなくなるので、選択肢を3つか4つ置いて選ぶだけにします。大事なのは理由の精密さではなく、覆った件数が数えられることです。この数字が無いと、その機械が使いものになっているのかどうかを永久に判断できません。
AIを使うのをやめたほうがいいということですか
いいえ。逆です。まちがいの拾い方さえ作っておけば、多少まちがえる機械でも安心して使えます。危ないのは、まちがえない前提で組んだ仕組みのほうです。当社が請求と入金の突き合わせで作っているものも、AIに読ませたうえで人が確認する形にしてあります。読み取りを速くする代わりに、確認は残しています。
小さい会社でもここまで考える必要がありますか
小さい会社ほど必要です。人数が少ないぶん、一人が承認の全部を抱えます。その一人が忙しくなった瞬間に、承認は素通りになります。大企業のように二重チェックの人員を置けない以上、仕組みのほうで拾うしかありません。
出典
冒頭で触れた事案は、米ユナイテッドヘルス・グループおよび関連会社を被告とする集団訴訟です。 訴訟では給付審査に用いられたアルゴリズムの是非が争われており、記載した主張・反論はいずれも報道によります。係争中であり、事実認定ではありません。
- CBS News — UnitedHealth uses faulty AI to deny elderly patients medically necessary coverage, lawsuit claims
- Snopes — The Facts Behind Accusations That UnitedHealthcare Uses Error-Prone AI to Deny Claims
- Business & Human Rights Resource Centre — Judge orders UnitedHealth to disclose details of its algorithmic tool
なお同じ事案を扱った英国制作のドキュメンタリーが、2026年8月25日にNHK BS「世界のドキュメンタリー」で放送されます。 当ページは番組とは無関係に、上記の報道をもとに独自に構成したものです。
まず、棚卸しから
初回の棚卸しは無料です。30分オンラインで伺って、「数字にできるか・どこから手をつけると効くか」の見立てをお返しするところまで。合わなければそこで終わりで構いません。
- 1 下のフォームを送る。箇条書き1行で構いません
- 2 30分オンライン。資料の準備は不要。いつもの帳票をそのまま見せてください
- 3 見立てを無料でお返し。進める場合の概算費用もこのとき出します