AIが「身体」を持つ日 経営層に問われる新たな覚悟

前回、私たちは「構造」を手に入れました。責任を、経営・設計・現場という三つの層でつないでおく。フィジカルAI・ピラミッドです。

ただ、構造を描いただけでは、まだ絵に描いた餅です。図の上でどれだけきれいに三層が並んでいても、それを実際に動かすのは、生身の人間です。仕組みは、勝手には動きません。そこに人が入って、はじめて命が宿ります。

そこで今回は、「人」の話に入ります。あの構造を、誰が、どうやって回すのか。ここが定まっていないと、いざというときに、こわい瞬間がやってきます。

「勝手にやった」は、通用するか

想像してみてください。あなたの会社の倉庫で、自律的に動くロボットが、作業中に人にぶつかり、けがをさせてしまった。第1回で見た韓国の事故の通り、これはもう想像の中だけの話ではありません。さて、このとき「AIが勝手にやったことです」という説明は、通用するでしょうか。

絶対に、通用しません。そのAIを選び、導入し、現場で動かすと決めたのは、どこかの誰かです。技術者が「私はコードを書いただけです」と言っても、それだけでは責任から逃れられません。

以前の記事で、私は第二次世界大戦時の人類史上最大の過ちであるマンハッタン計画に触れました。原爆をつくった科学者たちの多くは、優秀で、善良な人々でした。それでも、国家という大きなうねりの中で、一人一人の良心は、いつのまにかかき消されていきました。「自分は一部分を担当しただけだ」。この言葉は、良心を保ちながら自らの行動を正当化する魔法の言葉であり呪いの言葉でもあるのです。

前回登場したベンジオも、似たことを警告していました。企業も国家も、競争に追われるあまり、AIによる失敗のパターンを、誰も真剣に見ていない、と。専門家の集団が、それぞれ「自分の担当」だけを見ているうちに、全体の責任が、誰のものでもなくなってしまう。遠い昔の話ではありません。いまのAI導入の現場でも、同じことが起きています。

責任の空白は、トラブルの瞬間にあらわになる

ここで、ある調査を紹介しましょう。世界の経営者たちが集うWEFに、コンサルティング大手のWipro(ウィプロ）が寄せた分析です。

多くの組織では、AIが下書きや要約、分析を引き受け、最終的な判断は人間が担っています。ところが、その「誰がどこまで責任を負うか」という取り決めは、たいてい文書になっていません。暗黙の了解のまま、なんとなく回っているのです。

ウィプロによれば、人間とAIが組んで働くチームを持つ企業のうち、役割や決め方をきちんと定義できているのは、わずか23％にとどまります。裏を返せば、8割近くが、あいまいなまま走っているということです。

そして、ここが核心です。この「なんとなく」は、うまくいっているあいだは、まったく問題に見えません。責任の空白は、平時には無色透明なのです。しかし、いざ事故やトラブルが起きた瞬間、事態は一変します。プレッシャーの下で、いっせいに問い直されるのです。「誰がそのAIの利用を承認したのか」、「誰が責任を負うのか」。

平時には見えなかった空白が、トラブルの瞬間に、くっきりと姿を現します。ここまで読んで、「うちも、たぶん決めていない」と思い当たった方は、少なくないはずです。

責任は残る。しかし、手綱は手放している

もう一つ、見落としやすい落とし穴があります。責任と権限のズレです。

たとえば、顧客対応をAIに任せている職場を考えてみましょう。AIが返信の下書きをつくり、簡単な問い合わせをさばいてくれます。とても効率的です。しかし、その顧客対応の最終的な責任は、あいかわらず人間の担当者が負っています。

ここで何が起きているか。責任は人間に残ったまま、実際に手を動かす「手綱」は、AIの側に移っているのです。責任だけがあって、コントロールが弱い。何かあったとき、担当者は「自分が決めたわけではないのに、責任だけ問われる」立場に追い込まれてしまいます。

これが現実世界で動くAIとなると、危うさは一段跳ね上がります。第1回でお話しした通り、現実の失敗には、やり直しがききません。手綱を手放したまま責任だけを負う。その状態で、取り返しのつかない事故が起きたら？果たして魔法の言葉で逃げられるのでしょうか？

だからこそ、「誰が、どこで、何に責任を持つのか」を、あいまいなまま放置してはいけないのです。

空白を埋めるのは、二つの「人」の役割

では、どうすればこの空白を埋められるのか。ここで、私がもう一本のWEFの記事で提案した、二つの新しい役割が効いてきます。「AIアーキテクト」と「AIスチュワード」です。

むずかしい肩書きに聞こえるかもしれません。しかし、やることはシンプルです。

AIアーキテクトは、いわば「設計する人」です。何のためにAIを使うのか、その目的をはっきりさせ、どこまでをAIに任せ、どこからを人間が引き受けるのかを、あらかじめ決めて、組み立てます。軽い問い合わせはAIに任せてよいが、返金や契約にかかわる判断は必ず人間が承認する。そうした線を、一つひとつ引いていくのです。前回のピラミッドで言えば、経営の意思を、現場で動く形に翻訳する役割です。そして、自ら定めた枠組みにそって、責任を持ってAIを動かします。

一方、AIスチュワードは、「見届ける人」です。AIが出した結果を、そのまま鵜呑みにはしません。現場の文脈や、これまでの例外に照らして、その答えが本当に妥当かを見抜きます。たとえば倉庫の管理者は、AIには見えないものに気付きます。床がぬれている。今日は見慣れない応援スタッフがいる。ロボットの動きに仕様上の問題はなくても、現場では人がためらい、危ないと感じる。こうした細部は、データには表れません。しかし、その自動化が本当に安全かどうかは、まさに現場で決まるのです。そのうえで、受け入れるのか、直すのか、いったん止めるのか、上に相談するのか。最後の一手を、決め切ります。

アーキテクトが定め、組み立てる。スチュワードが見抜き、決め切る。この二つがそろって、はじめて、AIの結果はきちんと管理されるようになります。

世界の議論も、同じ方向を向いています。WEFの専門家たちは、こう言います。AIにどこまで任せるかは、成り行きで決まるものではない。意図して決める「設計事項」なのだ、と。役割と責任をはっきり定義しないかぎり、責任はあいまいに拡散していく。みんなが少しずつ関わって、結局、誰も負わない。あの空白に、逆戻りしてしまうのです。

構造に、血を通わせる

ここまでを、整理しましょう。前回、私たちは責任の「構造」を手に入れました。今回は、その構造を回す「人」を得ました。アーキテクトが設計し、スチュワードが見届ける。この二つの役割が、三層のピラミッドに、血を通わせるのです。

構造だけでも、人だけでも、足りません。両方がそろって、はじめて「AIが勝手にやりました」というセリフは、通らなくなります。逆に言えば、この二つがそろっている会社は、いざというときにも、誰が何を引き受けるのかを、はっきり言えるということです。

では、この構造と人は、どう一つの流れになるのでしょうか。そして、その流れの中で、経営者は、いったい何を引き受ければいいのでしょうか。次回、いよいよ最終回です。AIと現実（リアル）を行き来する、これからの働き方の全体像を、一枚の絵にして描き切ります。そこでようやく、この連載がずっと追いかけてきた「誰のせい？」という問いに、答えが出ます。

AIが「身体」を持つ日 経営層に問われる新たな覚悟

現実世界で稼働し始めた「フィジカルAI」は、画面内のAIと異なり失敗の取り消しがきかない。人手不足で導入が加速する中、不可欠なのは「誰が責任を持つか」という事前設計である。現実、構造、人の3つの観点から、AIと現実を往復するのに必要なマネジメントの全体像を提示する。