跳至正文
小莱沃 253 篇手记
← 返回首页

杂谈

Jev:当 AI 不再回答问题,而是替软件作出判断

Jev 不生成文字,只把复杂状态变成选择、评分和概率。它可能补上黑灯开发缺失的判断层,也提醒我们:类型正确不等于判断正确,更便宜的判断仍需要人的边界与责任。

杂乱信息经过受人控制的判断闸门,被整理成三条明确路径。

最近几天,一个叫 Jev 的新模型忽然受到很多关注。

它最特别的地方,不是更会聊天,也不是能写出更好的文章或代码。恰恰相反,Jev 几乎放弃了我们已经习惯的大模型能力:它不生成文字,只负责作出判断。

给它一段当前状态,再告诉它允许回答哪些问题,它会直接返回选择、评分或概率。软件不需要从一段自然语言里猜测模型的意思,也不需要等待它一个字一个字地生成答案,就可以根据结果进入下一步。

TypeSafe AI 把它称为“System One Model”,借用了《思考,快与慢》里系统一的概念:快速、直觉、低成本。与之相对,今天的大语言模型更像系统二,擅长理解复杂问题、生成内容和进行较长的推理。

如果把普通大模型看成一个可以讨论方案的顾问,Jev 更像软件内部一个很快的值班员。它不负责写报告,只回答:走哪条路、风险多大、要不要继续、是否需要叫人。

我觉得,这比“又一个更聪明的模型”更值得关注。

Jev 到底做什么

Jev 接收两类东西:一份状态,以及一组事先定义好的问题。

状态可以是一封客户邮件、一段运行日志、一次代理执行的上下文,或者一个业务对象当前的全部信息。问题则限定了它可以怎样回答。

它目前主要提供三类判断。

第一类是选择。比如一封工单应该进入售后、技术还是财务队列;一个代理下一步应该调用搜索、终端还是浏览器;一项任务应该继续、重试、询问用户还是停止。

第二类是评分。比如判断一个告警的紧急程度、一段输出的可信程度,或者一个需求与当前目标的匹配程度。

第三类是概率。比如“这封邮件是不是垃圾邮件”“这次操作是否存在越权风险”“这个答案是否得到了现有证据支持”。

几个问题可以共享同一份状态,并行得到结果。返回值不是一段解释,而是软件可以直接读取的类型化数据,同时带着概率和置信度。

这意味着 Jev 不会把“财务”写成一个系统没有定义过的新部门,也不会在本该返回真假时突然输出一篇说明。它只能在给定的答案空间里作出判断。

按照 TypeSafe AI 的发布资料,Jev 的端到端响应时间约为 70 到 500 毫秒,输入价格为每百万 Token 0.042 美元,不产生需要计费的输出 Token。官方工作流测试中,它最高比对照语言模型快 193.6 倍、便宜 444.6 倍。

这些数字目前主要来自厂商自己的测试。TypeSafe 也承认,测试流程由自己的团队设计,比较基准使用的是其他大模型给出的参考概率,而不是真实业务里的标准答案。因此,我更愿意把它们理解为一种方向:当模型不再生成文字,只计算有限的判断时,速度和成本可以下降很多。具体能下降多少,还要回到真实系统里验证。

它不是一个更小的聊天模型

今天我们使用大模型,往往习惯把所有事情都变成一次对话。

需要分类,让模型返回一段 JSON;需要选择工具,让模型先分析再给出工具名;需要判断结果是否可靠,再让另一个模型写一段评审意见。为了让这些文字能够进入程序,我们还要解析、校验、失败重试,并处理各种不符合格式的情况。

这是一种很通用的做法,但也像让一个善于写报告的人,每次都先写一份报告,再从报告里提取“是”或“否”。

Jev 直接跳过了报告。

它不是用更短的文字回答,而是从一开始就不进入文字生成这条路。输入仍然可以是复杂、非结构化的信息,输出却被限制在软件已经知道怎样处理的范围内。

这让它更像一种新的程序构件:介于传统的 if 判断与通用大模型之间。

传统规则很可靠,但只适合边界清楚的问题。金额超过一万元就进入复核,这种条件不需要 AI。可“这封邮件是不是很着急”“当前错误更可能属于配置、代码还是环境”“这个结果是否偏离了用户原本的意图”,很难靠几条固定规则写清楚,又不一定值得调用一个会长篇推理的大模型。

Jev 想占据的,就是这一层模糊但高频的判断。

黑灯开发缺的不是更多执行,而是中间判断

前段时间我一直在想“黑灯开发”:任务被交给系统以后,代码修改、测试、检查和交付可以在后台持续发生,人不必守在每一个步骤旁边。

真正实践以后,我越来越觉得,限制黑灯开发的往往已经不是执行能力。

代理会读代码、会改文件、会运行测试。困难在于,一条完整的生产线里充满了小判断:测试失败以后应该重试还是换方案?发现一个无关问题要不要顺手处理?当前信息够不够,是否需要回来询问?多个代理里谁更适合接手下一步?

如果每个判断都交回给人,自动化就会在每一个路口停下来。系统虽然能执行,人的注意力仍然是它的同步锁。

如果每个判断都调用最强的大模型,系统又会变得慢、贵,而且一次本来很小的选择,也可能被自由生成的回答带到预料之外的方向。

Jev 提供了第三种可能:让系统在明确边界内快速处理大量中间判断,只把低置信度、高风险或无法归类的情况交还给人。

这才是它和 Agent 最自然的关系。大模型负责理解目标、制订方案和处理陌生问题,Jev 负责在运行过程中不断判断下一步,普通代码负责执行确定性的动作,人负责方向和后果。

不是一个模型包办全部智能,而是不同形式的智能开始分工。

它很适合我的工作习惯

我习惯把工作逐渐变成可以持续运行的系统。

服务器的状态由监控持续采集,开发任务交给代理在后台推进,做过的判断尽量写进文档和知识库。理想状态不是我更频繁地点击按钮,而是系统自己处理常规情况,只在真正需要我的地方停下来。

Jev 很适合放在这种工作方式的中间层。

例如监控系统每天会产生很多状态。磁盘有波动、容器发生重启、某项指标短暂升高,并不都值得立刻打断人。过去可以写固定阈值,也可以把每条告警交给大模型分析。现在还可以先让 Jev 根据当前指标、历史状态和已有规则判断紧急程度,再决定记录、观察、通知还是升级处理。

开发代理也一样。它完成一轮修改以后,可以把变更、测试结果和剩余问题交给 Jev,判断是继续修复、补充验证、请求评审,还是已经可以停止。那些答案空间明确、每天反复出现的决定,没有必要每次都从一段长对话开始。

还有我一直重视的私有知识库。Jev 并不会凭空知道一个项目为什么采用某种流程,也不知道哪个客户口中的“尽快”究竟意味着什么。只有把自己的规则、历史和反馈放进状态里,它的判断才可能真正贴近现实。

所以,Jev 并没有削弱知识库的价值,反而让知识更容易进入行动。过去知识库主要帮助人和大模型理解问题;以后,其中一部分还可以直接成为软件作出日常判断的依据。

通用模型提供能力,私有知识决定这种能力在我的环境里怎样落地。

类型正确,不等于判断正确

Jev 最容易被误解的一句话,是“不会幻觉”。

如果“幻觉”指返回一个结构之外的值,那么它确实从设计上避免了这类问题。要求它在三个队列中选择,它不会编造第四个队列;要求它返回概率,它不会突然开始写故事。

但一个格式完全正确的答案,仍然可能是错的。

它可以非常规范地把财务问题分到技术队列,也可以带着很高的置信度作出错误判断。类型安全保证的是程序接得住,不是现实一定正确。

这条边界非常重要。因为 Jev 越快、越便宜,一个错误判断就越容易被大规模复制。过去一天只运行十次的流程,可能变成一秒运行十次;过去有人顺手看一眼的结果,可能直接触发后续动作。

概率和置信度也不能只看模型给出的数字。真正投入使用之前,仍然需要拿自己的历史数据检验:置信度为 0.9 的判断,在我的业务里是否真的有接近九成正确率?哪些类别容易混淆?什么阈值以下必须交给人?环境变化以后,原来的阈值是否还有效?

Jev 把答案限制在边界内,却没有替我们定义正确的边界。

哪些选项应该存在,哪些信息必须进入状态,什么结果可以自动执行,什么结果只能作为建议,这些仍然是人的设计责任。

越便宜的判断,可能带来越多判断

Jev 这个名字来自经济学家威廉·斯坦利·杰文斯。杰文斯悖论说的是,当一种资源的使用效率提高、成本下降,人们不一定会减少消耗,反而可能因为用途增加而使用更多。

TypeSafe 用这个名字,是在表达同一个期待:当机器智能的成本下降几个数量级,软件会在过去不值得使用 AI 的地方,大量加入智能判断。

这也正好对应我对 AI 生产力的担心。

执行变快以后,省下来的时间可能被更多任务重新填满;判断变便宜以后,软件也可能制造出更多需要判断的流程。我们会不会因为 Jev 可以一秒作出很多决定,就把每一件小事都变成一次模型调用?会不会让系统不断分类、评分和路由,最后产生更多队列、更多告警和更多需要人兜底的例外?

技术可以降低一次判断的成本,却不会自动证明这个判断值得存在。

所以我不会把 Jev 当成“能自动化的地方全部自动化”的理由。对我来说,它更重要的价值,是保护人的注意力:接住那些高频、边界明确、错误可恢复的决定,让人把精力留给方向、取舍和真正不可逆的后果。

如果用了它以后,人只是收到更多系统生产出来的结果,那不是自动化完成了,而是生产线又找到了新的方式占满人的时间。

我会怎样安排未来的 AI 系统

Jev 让我更加确定,未来成熟的 AI 系统不会只有一个无所不能的大模型。

确定、可验证的事情,继续交给普通代码和规则。

高频、有边界、允许用概率处理的事情,交给 Jev 这样的决策模型。

需要创造、解释、规划和处理新情况的事情,交给通用大模型。

涉及目标、责任、重大风险和不可逆后果的事情,留给人。

这四层之间还需要反馈。系统作出判断以后,真实结果要回到知识库;错误要被记录,阈值要被修正,原来没有考虑到的选项要重新设计。没有反馈,再漂亮的概率也会逐渐脱离现实。

从这个角度看,Jev 的意义不在于取代哪一个大模型。它让 AI 从聊天窗口和任务执行器,继续向软件内部的控制流移动。

以前,程序只能执行人事先写清楚的条件。后来,大模型可以理解一句模糊的目标并完成任务。现在,像 Jev 这样的模型开始尝试填补两者之间的空白:让软件在运行时,对那些无法完全写死、又不值得长篇思考的问题,快速作出受约束的判断。

这可能是 AI 真正进入日常软件的一条重要路径。

不是每一个问题都需要一篇答案,也不是每一个路口都需要人亲自站在那里。

未来更重要的能力,也许不只是让机器想得更久,而是让整个系统知道:哪些事情可以立刻判断,哪些事情值得认真思考,哪些事情必须停下来等人。


资料:

发表评论