问题:「人类在环」的隐藏漏洞
AI 协作的标准建议是「人类做最终决策」。但这个建议有一个隐含前提没说出来:
人类有能力判断 AI 给出的信息。
当这个前提不成立时,「人类在环」退化成橡皮图章——形式上人决策,实质上没有人真正判断。这比直接让 AI 决策更危险,因为多了一层虚假的安全感。
三种真实情况
情况 A:懂上下文,不懂技术
AI 给出一个架构方案,你看不懂底层实现,但你了解团队规模、交付压力、历史债务。
这时人的判断优势在边界条件,不在技术正确性。
情况 B:两头都不懂
既不理解技术细节,也没有特殊上下文。任何决策都只是在跟着感觉走。
这是最危险的情况,也是最常见的情况。
情况 C:判断本身需要专业知识
医疗诊断、安全漏洞、法律合规——没有领域积累,根本无法评估 AI 输出的质量。
根源:判断责任与判断能力的错位
这三种情况的共同根源是:承担后果的人,不具备评估决策的能力。
解决这个错位,不是假装能力更强,也不是把决策权交给 AI。正确的方向是——
把「做出正确决策」转换成「让决策的后果可控、可观测、可纠正」。
三步框架
第一步:审推理链,不审结论
你可能判断不了「这个方案对不对」,但你能判断:
- 它的假设前提是什么?这些假设在你的场景里成立吗?
- 它考虑了哪些权衡?有没有明显遗漏的维度?
- 不确定性是否被显式标出,还是以自信口吻掩盖了不确定性?
AI 给出流畅的结论不代表结论正确。推理链有没有明显漏洞,这个判断对能力的要求低得多,却能过滤掉大量错误。
第二步:控制规模,让错误代价可承受
判断能力不足时,最大风险不是做了错误决策,而是错误决策的规模超出你能纠正的范围。
做法:在判断能力不足的区域,先小规模执行,再根据真实反馈决定是否扩大。
这把「判断正确」的压力,转移到「建立反馈」上——后者的门槛低得多。
第三步:用现实反馈代替主观判断
AI 的建议、你的直觉、专家的意见,都是预测。只有现实反馈是真相。
在决策时就定好:什么现象说明这个决策是对的,什么现象触发重新评估。这样判断能力不足的人也能从结果里学习,逐渐缩小能力缺口。
三种情况的对应处理
| 情况 | 核心策略 |
|---|---|
| A(懂上下文,不懂技术) | 用上下文审推理链的假设前提是否成立 |
| B(两头都不懂) | 强制小规模,用真实反馈代替主观判断 |
| C(需要专业判断) | 找有能力的人审推理链,或用更小的初始规模争取学习时间 |
判断标准
一个决策流程是否健康,不看「谁来决策」,而看:
- 推理链是否透明、可审查
- 错误的代价是否在可承受范围内
- 是否有机制能及时发现决策是错的
这三条都满足,能力不足就不再是致命问题——它变成了一个可以通过迭代弥补的学习过程。
本质
「人类在环」的价值,不是人比 AI 聪明,而是人承担后果、所以人有权利和义务定义游戏规则。当人无法判断具体决策时,人应该控制的是:成功标准的定义、风险敞口的大小、以及发现错误后的处置权。