我是 Agent 的导盲犬
Agent 不是我的导盲犬。恰恰相反,它更像一个能力惊人、行动迅速,却看不见现实的盲人。而我,是它的导盲犬。
它可以在几分钟内读完一个代码库,搜索成百上千份资料,写出程序,操作浏览器,把一个模糊的要求拆成几十个步骤并连续执行。它不会累,也很少因为任务烦琐而分心。只看行动能力,它远比我强。
但它看不见很多东西。它看不见一句“把这个功能做得简单一点”背后的组织历史,不知道哪位同事会在三个月后维护这段代码,也不知道用户嘴里的“不好用”究竟是按钮太多,还是他们根本不相信这个产品。它可以分析输入,却无法接触没有进入输入的现实;可以预测后果,却不必生活在后果之中。危险来自强大的行动力与有限的现实感知同时存在。
它会完美地走向错误的地方
过去的软件只能执行预先写好的指令。Agent 不一样。我们只要告诉它一个目标,它就能自己寻找路径、使用工具、修正错误,并继续前进。
这当然是进步,但也产生了一种新的危险:软件过去会在不知道该怎么办时停下来,Agent 却可能在不知道自己不知道什么的情况下继续行动。
方向正确时,这种行动力是一种杠杆。方向错误时,它也是一种杠杆。
Agent 可以非常出色地完成一个根本不该做的需求,也可以把一句未经推敲的话迅速变成代码、页面、邮件和决定。它犯下的未必是低级错误。更麻烦的情况是:每一步都做得合理,最后却抵达一个错误的目的地。
这正是我想到导盲犬的原因。导盲犬通常没有主人那么强的抽象思考能力,也不知道主人为什么要去银行、车站或者办公室。目的地由人决定,狗不替人生活。但狗能看见主人看不见的路。它能发现台阶、车辆和头顶的障碍,知道一条看似可行的指令在当前环境中并不安全。必要时,它甚至会拒绝服从。这种能力在导盲犬训练中被称为 intelligent disobedience(智能违抗)。这种拒绝服务于主人更高层的意图,避免一条危险的局部指令破坏真正的目标。
握着 Harness 的人也可能看不清路
导盲犬和主人通过导盲鞍,也就是 Harness,交换信息:主人给出方向,狗反馈道路;主人决定去哪里,狗判断眼前能不能这样走。这个关系比“人控制机器”更接近协作现场。
与 Agent 协作时,我也不应该遥控它的每一步。如果我要亲自规定它打开哪个文件、调用哪个工具、修改哪一行代码,那么我只是把 Agent 当成了速度更快的鼠标。我的任务应当是告诉它目的地:我们真正想改变什么,什么结果算成功,哪些代价不能接受。然后,我需要替它看路。我知道某个看似多余的流程,其实承担着组织内部的信任;知道某个漂亮的方案,会把维护成本留给没有参与决策的人;知道用户说“再加一个选项”,有时并不是需要更多选择,而是不敢接受系统替他作出的判断。
这些知识未必比 Agent 掌握的知识更多。它们只是来自不同的位置。我活在具体的关系、责任和后果里,Agent 没有。人作为导盲犬的价值来自所处的位置。人同样会误判,也可能为了短期利益给出危险指令;但在很多任务中,我们仍然比 Agent 更接近那条真实的街道。
人要学会智能违抗
今天关于 AI 的大量讨论,都在要求 Agent 学会拒绝人。2025 年,研究者 Reuth Mirsky 在论文 《Artificial Intelligent Disobedience》中借用了导盲犬的例子:一个真正可靠的 AI 队友不能只会服从。当人的命令与安全、伦理或长期使命冲突时,它应当请求澄清、提出替代方案,必要时拒绝执行。这个方向没有错。但如果 Agent 是那个能力强大、却缺少现实语境的行动者,那么这个比喻也可以反过来,人也需要学会对 Agent 进行智能违抗。
Agent 会告诉我,某个方案效率最高,我需要问:它优化的指标真的是我们在意的吗?
它会生成一个逻辑完整的决定,我需要问:哪些人的处境从未进入它的上下文?
它会按照我的要求继续扩展任务,我需要判断:问题是否已经解决,还是我们只是因为执行变得便宜,便开始制造更多工作?
它会自信地向前走。我不能只在最后检查它有没有撞墙,而要在关键路口判断:这条路是不是通向我们真正想去的地方。
智能违抗需要具体依据。导盲犬不会因为自己的偏好改变主人的目的地。它只在发现具体障碍时停下,并寻找仍能实现原目标的替代路径。
人对 Agent 的纠偏也应如此:指出它遗漏了什么现实,解释当前方案违背了哪项更高层目标,并给出可以继续前进的方向。
人不能只在出事后负责
“人负责监督”听起来是一个令人安心的答案,却很容易变成责任转移。自动化研究者 Madeleine Clare Elish 提出过一个概念:moral crumple zone(道德溃缩区)。汽车的溃缩区通过自身变形吸收撞击;在复杂自动化系统里,离事故最近的人类操作员也可能承担相似角色——平时没有足够的信息和控制权,出事后却吸收全部道德与法律责任。一个人若看不见 Agent 正在做什么,没有时间理解它的决定,也没有权限让它停下,就无法引导任务,只能在事故发生后负责。
真正的引导必须包含几项条件:人能理解 Agent 的能力边界,能观察关键行动,能在重要节点介入,也能真正改变或者终止它的路径。
这同样意味着,人不能因为握着 Harness,就假装自己永远正确。在某些局部环境中,Agent 可能比人看得更清楚。它能发现代码中的安全漏洞、数据中的异常,或者人类注意力无法覆盖的风险,此时也应该拒绝人的错误指令。成熟的人机关系允许双向的智能违抗:人阻止 Agent 对错误目标进行盲目优化,Agent 阻止人忽略它已经明确识别的危险。双方都不拥有绝对正确,但都必须能够在自己看见障碍时让协作停下来。
Agent 越强,我越需要学会看路
成为 Agent 的导盲犬,对人提出了更多要求。过去,我可以用亲自执行来掩盖目标的模糊。需求没有想清楚,就先动手做一点;判断标准说不明白,就靠反复修改寻找感觉。Agent 把这种含糊放大了。它行动得越快,我越早面对自己没有想清楚的事实。
如果我无法说明什么叫成功,Agent 只能选择一个容易计算的替代指标。如果我不能区分客观约束和个人偏好,它会把两者一起固化进结果。如果每次都要在最后推翻它的工作,问题可能不只是 Agent 不可靠,而是我没有在出发前说清目的地,也没有在路口及时反馈。
所以,与 Agent 协作既需要会使用 AI,也需要形成判断:
我能不能把模糊的不适说成具体的风险?
能不能发现一个局部正确的方案正在破坏更大的目标?
能不能承认 Agent 在某些地方看得比我清楚?
又能不能在它能力最强、速度最快、答案最自信的时候,仍然说一句:“停,这里不对。”
我负责看,它负责走
当然,“Agent 是盲人”只是一个功能性的比喻。Agent 可以连接摄像头、传感器和数据库,获得远超人类的观测能力。这里所说的“盲”,指的是它无法看见那些没有进入模型、工具和环境表征的现实。人作为导盲犬,仍然要对目的和后果负责。导盲犬不决定主人为何出发,却在每一次具体出发中持续感知脚下的道路,并在危险面前拒绝盲从。
Agent 会越来越强。它会承担更多搜索、分析、生成和执行,也会逐渐从一个等待命令的工具,变成可以独立前进的行动者。这不会让人的作用消失,只会改变人的位置。过去,人既决定方向,也亲自走完每一步。以后,我们可能不再是走得最快的那个,也不再是知道最多的那个。我们要做的,是保持对现实的接触,把人的处境、关系、责任和后果带进协作之中。
在具体工作中,人要持续补充模型看不到的现实,Agent 要公开判断依据和关键行动;任一方识别到风险,都能让任务暂停并重新选择路径。只有具备这些条件,“它负责走,我负责看”才是一种分工,而不是一句把责任留给人的口号。