私はAgentの盲導犬だ
Agentは私の盲導犬ではない。
むしろ逆だ。Agentは驚異的な能力を持ち、猛烈な速さで行動できる一方、現実を見ることができない人に近い。そして私は、そのAgentの盲導犬である。
Agentは数分でCodebase全体を読み、数百、数千の資料を検索し、Programを書き、Browserを操作できる。曖昧な依頼を何十もの手順に分解し、一つずつ実行することもできる。疲れず、単調な作業で集中を切らすこともほとんどない。行動する能力だけを見れば、私よりはるかに優れている。
しかし、Agentには見えないものがたくさんある。
「この機能をもっとシンプルにしてほしい」という一言の背後にある組織の歴史は見えない。3か月後に誰がそのCodeを保守するのかも知らない。利用者が「使いにくい」と言うのはButtonが多すぎるからなのか、それとも製品の判断を信頼していないからなのかもわからない。入力された情報は分析できるが、入力されなかった現実には触れられない。結果を予測することはできても、その結果を生きる必要はない。
強い行動力と限られた現実認識が同居するところに危険がある。
Agentは間違った方向へ完璧に歩ける
従来のSoftwareは、あらかじめ書かれた指示しか実行できなかった。Agentは違う。目標を伝えれば、自ら経路を探し、Toolを使い、失敗を修正しながら進み続けられる。
これは進歩である。しかし、新しい危険も生む。従来のSoftwareは、どうすればよいかわからなくなると止まることが多かった。Agentは、自分が何を知らないのかも知らないまま進み続けることがある。
方向が正しければ、この行動力は大きなLeverになる。方向が間違っていても、同じようにLeverになる。
Agentは、本来作るべきでなかった要件を見事に完成させられる。十分に考えられていない一文を、瞬く間にCode、Page、Mail、意思決定へ変えることもできる。Agentの誤りは、必ずしも幼稚なものではない。もっと厄介なのは、一つひとつの手順が合理的に見えるのに、最後には間違った目的地へ着いてしまう場合だ。
そこで私は、盲導犬を思い浮かべた。
盲導犬は通常、Handlerほど高度な抽象思考はできない。Handlerがなぜ銀行や駅、Officeへ行くのかも知らない。目的地を決めるのは人であり、犬がその人の人生を代わりに生きるわけではない。
しかし犬には、Handlerに見えない道が見える。
段差、車、頭上の障害物を見つけ、表面上は正しい指示でも、その場では危険だと判断できる。必要なら、命令に従うことさえ拒む。盲導犬の訓練では、この能力を intelligent disobedience（賢い不服従） と呼ぶ。
犬はHandlerに反抗しているのではない。Handlerのより上位の意図を実現するために、危険な局所命令を拒んでいる。
Harnessを握っていても、道が見えているとは限らない
盲導犬とHandlerは、Leashで互いを引っ張り合っているわけではない。Handlerが握るのはHarnessのHandleだ。そこを通じて情報が双方向に伝わる。Handlerが方向を示し、犬が道の状態を返す。Handlerが行き先を決め、犬がその方向へ安全に進めるかを判断する。
これは、「人が機械を制御する」という説明より正確な関係だ。
Agentと協働するときも、私は一挙一動を遠隔操作すべきではない。開くFile、呼び出すTool、修正するCodeの行まで指定しなければならないなら、Agentを少し速いMouseとして扱っているにすぎない。
私の役割は目的地を伝えることだ。何を本当に変えたいのか、何をもって成功とするのか、どの代償は受け入れられないのかを示す。
そして、Agentに代わって道を見る。
一見すると無駄なProcessが、実は組織内の信頼を支えていることを私は知っている。美しいSolutionの保守Costが、その決定に参加していない人へ押しつけられることもある。「選択肢をもう一つ増やしてほしい」という利用者の言葉が、本当に選択肢を求めているのではなく、Systemが代わりに下した判断を受け入れられないという意味である場合も知っている。
この知識がAgentの知識より多いとは限らない。ただ、立っている場所が違う。
私は具体的な関係、責任、結果の中で生きている。Agentはそうではない。
だから、人が盲導犬になる価値は、Agentより賢く、合理的で、道徳的であることには由来しない。人も判断を誤るし、短期的な利益のために危険な指示を出すこともある。人の優位性は、多くの仕事において、今もAgentより現実の道路に近いところにいるという点だけだ。
人も賢い不服従を身につけなければならない
現在のAIをめぐる議論の多くは、Agentが人の命令を拒めるようにすることを求めている。
研究者Reuth Mirskyは、2025年の論文「Artificial Intelligent Disobedience」で盲導犬を例に挙げ、信頼できるAIのTeammateは、ただ服従するだけでは不十分だと論じた。人の命令が安全、倫理、長期的なMissionと衝突する場合、AIは確認を求め、代案を示し、必要なら実行を拒むべきだという。
この方向は間違っていない。しかし、Agentが強大な行動力を持ちながら現実のContextを欠く存在なら、この比喩を逆向きにすることもできる。
人もAgentに対して、賢い不服従を身につける必要がある。
Agentが「この方法が最も効率的だ」と言ったとき、私は問わなければならない。Agentが最適化している指標は、本当に私たちが重視するものなのか。
論理的に完成した判断を出してきたときには、誰の事情がContextに一度も入らなかったのかを問う。
指示どおりにTaskを拡張し続けるときには、問題はすでに解決したのか、それとも実行が安くなったから仕事を増やしているだけなのかを判断する。
Agentは自信を持って前進する。最後になって壁にぶつかったかを確認するだけでは足りない。重要な分岐点ごとに、この道がまだ本来の目的地へ続いているかを判断しなければならない。
よい不服従は、気まぐれに「嫌だ」と言うことではない。盲導犬は自分の好みでHandlerの目的地を変えない。具体的な障害を見つけたときに立ち止まり、元の目的を実現できる別の道を探す。
人がAgentを修正するときも同じである。Agentが見落とした現実を示し、現在の方法がどの上位目標に反しているかを説明し、作業を続けられる方向を提示する。
人は事故の後だけ責任を負う存在であってはならない
「人が監督する」という言葉は安心感を与えるが、簡単に責任転嫁へ変わる。
自動化の研究者Madeleine Clare Elishは、moral crumple zone（道徳的なCrumple Zone） という概念を提唱した。自動車のCrumple Zoneは、自ら変形して衝突の力を吸収する。複雑な自動化Systemでは、事故に最も近い人間のOperatorが同じ役割を負わされることがある。平常時には十分な情報も制御権も与えられず、問題が起きた後には道徳的、法的責任をすべて吸収する。
Agentが何をしているか見えず、その判断を理解する時間もなく、止める権限もないなら、その人は盲導犬ではない。事故の後に責任を取るよう配置された人にすぎない。
本当に導くには、いくつかの条件が必要だ。人がAgentの能力の境界を理解し、重要な行動を観察でき、必要な時点で介入し、その進路を変更または終了できなければならない。
同時に、Harnessを握っているからといって、人が常に正しいわけでもない。
局所的な環境では、Agentのほうが人より明確に見えている場合がある。CodeのSecurity脆弱性、Dataの異常、人の注意では覆いきれないRiskを見つけることもある。そのときは、Agentも人の誤った命令を拒むべきだ。
成熟した人と機械の関係は、一方向の服従ではない。双方向の賢い不服従である。
人は、Agentが間違った目標を盲目的に最適化するのを止める。Agentは、すでに特定した具体的な危険を人が無視するのを止める。どちらも常に正しいわけではない。しかし、障害が見えた側には、協働を止める権利が必要だ。
Agentが強くなるほど、私は道を見る力を磨かなければならない
Agentの盲導犬になるのは、楽な役割ではない。
以前の私は、自分で手を動かすことで、目標の曖昧さを隠せた。要件を考えきれていなくても、とりあえず作り始められた。判断基準を言葉にできなくても、感覚に合うまで何度も修正できた。
Agentは、この曖昧さを増幅する。Agentが速く動くほど、自分が考えきれていない事実に早く向き合わされる。
成功とは何かを説明できなければ、Agentは計算しやすい代替指標を選ぶしかない。客観的な制約と個人的な好みを区別できなければ、両方を結果に埋め込む。最後になって毎回Agentの仕事を覆すのなら、問題はAgentの信頼性だけではないかもしれない。出発前に目的地を伝えず、途中の分岐点でもFeedbackを返さなかった可能性がある。
だからAgentとの協働で必要な中核能力は、もはや単に「AIを使えること」ではない。判断できることだ。
曖昧な違和感を、具体的なRiskとして言葉にできるか。
局所的には正しい解決策が、より大きな目標を損なっていると気づけるか。
Agentのほうが自分より明確に見えている場所があると認められるか。
そして、Agentの能力が最も高く、速度が最も速く、答えに最も自信を持っているときでも、「止まって。ここは違う」と言えるか。
私が見て、Agentが歩く
もちろん、「Agentは見えていない」というのは機能上の比喩にすぎない。AgentはCamera、Sensor、Databaseに接続し、人をはるかに超える観測能力を得られる。ここでいう「見えない」とは、視覚がないという意味ではない。Model、Tool、環境表現に入っていない現実を認識できないという意味だ。
同じように、「人は盲導犬だ」という言葉も、人がAIの付属物になるべきだという意味ではない。
盲導犬は、Handlerがなぜ出発するのかを決めない。それでも、一つひとつの移動に欠かせない存在である。その価値は、すべての知識を持つことから生まれるのではない。足元の道を絶えず捉え、危険を前にしたとき盲目的な服従を拒むことから生まれる。
Agentはこれからさらに強くなる。より多くの検索、分析、生成、実行を担い、命令を待つToolから、自ら前へ進める行動主体へ変わっていく。
それによって人の役割が消えるわけではない。人の立つ位置が変わる。
これまで人は方向を決め、すべての道のりを自分の足で歩いてきた。これからは、最も速く歩く存在でも、最も多くを知る存在でもなくなるかもしれない。私たちの役割は、現実との接触を保ち、人の事情、関係、責任、結果を協働の中へ持ち込むことだ。
実際の仕事では、人がモデルに見えない現実を補い続け、Agentは判断根拠と重要な行動を明らかにする。どちらかがリスクを見つけたら、タスクを止めて経路を選び直せなければならない。その条件がそろって初めて、「Agentが歩き、私が見る」は責任を人へ押しつける標語ではなく、実際の分業になる。