许多AI智能体在做路由决策时仍然走的是“慢路”:向聊天模型提出一个是非问题,等它逐个token生成一段JSON字符串,再解析结果。一类较新的模型(通常称为决策模型)则完全跳过了文本生成环节。给定一段上下文和一组固定的允许答案,决策模型只需一次前向传播,就能为每个答案返回一个经过校准的概率。这让它比生成式调用更快、更便宜,而且恰好适合一类特定任务:那些难以写成规则、却又小到不值得动用完整大语言模型回复的模糊判断。这一类别的产品目前包括TypeSafe AI的Jev、OpenAI Decisions API和Cloudflare的Clef,另外还有一个名为Kev的开源模型。但要注意,概率本身什么也做不了。真正的工程工作在于阈值、回退机制和评估集,正是它们把一个数字变成可靠的行动。

决策模型解决的问题

一个具体例子能把用途说清楚。某团队搭建了一个内部Slack助手,可以加入对话线程。一旦在线程中被调用,助手就会试图回答之后的每一条消息,包括两位同事只是在互相道谢的那些对话。显而易见的修法是要求大家每一轮都@提及机器人,但这让对话显得笨拙、生硬。更好的修法是在每次回复前做一次快速检查:这条消息究竟是对助手说的,还是对线程里的人说的?

这项检查必须极快、极便宜,因为它要在每条消息上运行。它也是一种模糊判断,而非精确规则。这样的组合正是决策模型的用武之地。

决策模型请求的工作方式

向决策模型发出的请求包含三部分:

  • 状态:模型要评估的上下文对象,例如一段线程历史或一张支持工单。
  • 问题:你想了解该状态的哪些方面。
  • 允许答案:为每个问题严格定义的一组选项。

模型不会产出字符串。它根据状态为允许的选项分配概率。Mastra是一个用于构建智能体的开源TypeScript框架,内置了面向这类模型的分类器原语,提供三种问题类型。

问题类型 你提供的内容 你得到的结果
Boolean 一个真/假问题 答案为真的单个概率(接近1表示强烈肯定,接近0表示强烈否定)
Choice 一组带判定标准描述的标签,例如billing、support或sales 每个标签各一个概率
Score 一个有序的数值评分标准,例如缺陷严重程度0到2 每个等级各一个概率,外加一个加权平均分

一个支持工单的实际例子同时展示了这三种类型。对于消息“我这个月被扣了两次款,能撤销一笔吗?”,Boolean退款检查返回0.95。Choice路由器给出了billing、support和sales各自的概率。Score问题采用的评分标准为:0代表外观问题,1代表有变通办法,2代表完全受阻且无变通办法,结果是0级12%、1级72%、2级16%,加权严重程度得分为1.03。

一张输入卡片进入机器,机器同时输出一个开关仪表、三个部分填满的箱子和一个阶梯指针

▲ 一次调用返回三类输出

Mastra允许把Boolean、Choice和Score问题打包进一次分类器调用,这样状态只需读取一次,而不必经过多次往返。TypeSafe自己的指南也指向同一方向:在一次请求中把代码可能用到的所有问题都问完,用不到的输出直接忽略,而不是发起一连串有条件的顺序调用。各家的单次请求上限不同:OpenAI Decisions API最多接受400个问题,Cloudflare Clef最多64个,Jev则以其64,000 token的上下文窗口能容纳多少为准。

为什么更快、更便宜

速度差异源自架构。标准聊天模型运行的是自回归循环:在整个词表上计算一个概率分布,采样一个token,追加到末尾,然后重复,直到完整的JSON答案写完并可以解析。决策模型则对状态和问题做一次前向传播,直接输出允许类别的概率。没有采样循环,也没有输出文本。

由于不生成任何内容,这些API的输出token是免费的。比较时的输入token价格如下:

服务商 每百万输入token价格
Cloudflare Clef-flash $0.038
TypeSafe AI Jev $0.042
OpenAI Decisions API $0.10
Cloudflare Clef $0.24

什么任务用什么工具

决策模型既不能取代生成式模型,也不能取代普通代码。一种实用的做法是把应用逻辑分成三类:

  • 生成式大语言模型负责开放式写作、摘要和解释。决策模型无法做摘要、无法进行创意写作,也无法展示思维链推理。
  • 确定性代码负责只有唯一明确答案的精确业务规则。“超过$500的退款需要经理审批”或“只有管理员才能删除项目”这类规则应写进if语句,绝不能交给概率模型。
  • 决策模型负责判断题:识别紧急程度、把工单路由到某个部门,或者决定助手是否应该开口。

阈值应该放在代码里

决策模型返回的是概率,它本身不采取行动。接下来发生的事,是一行普通应用代码把这个概率与一个常量做比较。对那个Slack助手来说,检查就是与0.45这个阈值做一次比较:达到或超过就回复,低于就保持沉默。

把阈值放在代码里有实际好处。你可以在不调用任何线上模型的情况下,对分支逻辑做确定性的单元测试。这个常量存放在一个命名变量里,改动它就是一次干净的单行拉取请求,评审者可以清楚追踪。

只有当判断错误的代价很低时,单一截断值才合适。对Slack助手而言正是如此:如果机器人错误地保持沉默,有人再@它一次,几秒钟就解决了问题。相反,一次多余的回复会给频道增添噪音。这种不对称决定了阈值应该放在哪里。一般规则是:误报代价高时把阈值调高,漏报代价高时把阈值调低。

对于没那么宽容的决策,应使用两个截断值和三个区间:

  1. 高于上限截断值:自动执行。
  2. 介于两个截断值之间:转交人工审核。
  3. 低于下限截断值:采用安全默认值。

用Mastra搭建的一个退款路由工作流说明了这一点,其自动化截断值为0.9,审核截断值为0.4。退款概率高于0.9时,工单直接送往退款团队;得分在0.4到0.9之间转入人工审核;低于0.4的则交给通用支持。

传送带上的信件被一个三段式仪表分拣到自动保险库、人工审核台和默认托盘

▲ 两个截断值划出三个行动区间

用评估集找到阈值

0.45这个数字不是猜出来的。该团队收集了真实的Slack线程交互,并用Claude把它们整理成一个经过匿名化处理、包含16个用例的评估数据集:6个助手应该回复,10个应该保持沉默。举例来说,一个“应回复”用例是:一位同事请机器人添加一条公司记录,机器人解释自己做不到,同事接着请求一个新的登录链接。一个“不应回复”用例则是:一个人询问当天CRM上线了什么内容的摘要,机器人作答,第二个人对第一个人说“干得漂亮”。

评估在一个单步Mastra工作流中运行分类器,并用一个以纯TypeScript编写的自定义评分器打分:决策与真实标签一致记1分,否则记0分。整个过程不涉及任何“大语言模型充当裁判”。Mastra的runEvals把每个带标签的样本推入工作流,再用程序化扫描尝试多个候选阈值(0.35、0.40、0.45、0.50和0.55),观察整个数据集上的准确率如何变化。在成本和速度至关重要的大型评估流水线中,同样的分类器评分器也可以替代大语言模型裁判。

结果显示出一道清晰的间隔。全部10个“不应回复”用例得分都在0.39或以下。6个“应回复”用例中有5个得分在0.50或以上;有一个离群的“应回复”用例得分为0.36。因此,0.39到0.50之间的任何阈值都能得到同样的准确率:16个用例答对15个。阈值定在0.45,即这段间隔的中点,以吸收真实生产消息的自然波动。得分经过三次运行核对,确认稳定。

这类模型对措辞很敏感

两个小实验说明了为什么系统化评估不是可选项。仅仅重命名一个输入字段,从一个围绕助手对话命名的字段改为later_replies,就让一个“不应回复”用例从0.39跳到0.86,由沉默翻转为回复。在判定标准说明中加上三个词(一个提到助手名字的短语),准确率从16个答对15个降到16个答对13个。两处改动看起来都无伤大雅,却都是退化,都被回滚了。教训是:把评估集放进持续集成,让提示词和模式的改动不通过基准测试就无法合并。

在生产环境中运行

决策模型进入线上系统后,有几个细节很重要。

绕开webhook时限。 Slack要求在几秒内给出确认,这对阻塞式模型调用来说太短了。助手会立即确认,然后在异步后台作业中运行分类器。如果概率低于0.45,或者分类器调用直接失败,机器人就保持沉默,并把这条消息保留为上下文,供日后被提及时使用。

Slack助手如何决定是否回复 否 是 否 是 线程中出现新消息 在几秒内向Slack确认 在异步后台作业中运行分类器 分类器调用成功? 保持沉默,并把消息保留为上下文 概率达到0.45或以上? 机器人回复
▲ Slack助手如何决定是否回复

把分类器用作输入护栏。 在Mastra中,可以把ClassifierProcessor挂到智能体上,在消息到达主模型之前先行检查。例如,一个支持智能体可以被限定为只处理账单和账户问题,通过onResult钩子中止偏离主题的请求并返回一条预设消息。如果分类器返回拒答或未处理的类别,应将其视为偏离主题,而不是让主模型即兴发挥。

决定失败时的行为。 errorStrategy设置控制分类器本身失败时发生什么:strict会中止执行,而warn会记录错误并放行消息。对护栏来说,strict是更安全的选择,因为上游失败会阻断消息进入,而不是悄无声息地放它们通过。

记录决策但不记录敏感信息。 onDecision钩子可以把审计条目写入数据库,记录线程ID、结果、分类答案、执行时长和轮次ID,而不存储原始消息文本。对于敏感通信,Mastra的hideInput和hideOutput追踪选项可以让用户文本不进入遥测数据。

切换服务商意味着重新校准

Mastra对服务商做了抽象,因此把分类器从OpenAI迁移到TypeSafe AI托管的Jev(jev-latest)或自托管的Kev(kev-9b),只需用TypeSafeAI客户端适配器改一行配置。Kev与Jev共用同一套API,不过目前在Cloudflare Workers AI上运行它需要一个小型代理worker或本地托管的开源权重,这让这次切换不那么无缝。

然而,这一行改动具有欺骗性。概率校准不能在模型之间迁移。OpenAI给出的0.45与Jev或Kev给出的0.45含义并不相同。每次切换服务商,就像每次修改提示词一样,都需要重新运行完整的评估集并再次扫描阈值,以建立新的基线。

要点回顾

分工说起来很简单:决策模型在明确允许的答案上输出干净、经过校准的概率,应用代码掌管其余一切,包括阈值、分支、回退和安全默认值。想要应用这一思路的开发者可以这样做:

  • 把决策模型留给模糊的判断题。精确规则写进代码,开放式文本交给生成式模型。
  • 把所有问题打包进一次分类器调用,让上下文只读取一次。
  • 只有在错误代价低且能自我纠正的地方才用单一阈值;否则使用两个截断值,中间设人工审核区间。
  • 用真实案例构建带标签的评估集,扫描候选阈值,把截断值放在观察到的间隔中点。
  • 把评估集放进CI,并在任何提示词、模式或服务商变更上线前重新运行。
  • 在webhook驱动的平台上把慢检查放进后台作业,为护栏选择strict错误处理,并让敏感文本远离日志和追踪记录。

这样做之后,决策模型就成了一个小而可测试的组件,而不是一个不可预测的神谕;围绕它构建的智能体所做的路由决策,也就经得起测试、评审和信任。