Featured image of post 「能算的绝不调模型」:resolve-harness 的三层 Fast Path

「能算的绝不调模型」:resolve-harness 的三层 Fast Path

三层 Fast Path 将确定性任务优先交给代码处理。

新发布

确定性任务的零模型加速路径

开源 Agent Harness resolve-harness 提出了一套“三层 Fast Path”确定性运行时机制。它通过架构设计,让适合由纯代码求解的任务绕过 LLM 调用,以毫秒级响应和零 token 调用完成处理。其核心主张是:能算的绝不调模型。该方案对上层编排(Planner / Specialist / Evaluator / Reporter)保持透明:任务树仍会渲染,只会额外标记为 zero-model

关键机制包括:

  • 内置匹配器层:正则识别加纯 Python 计算,命中后可直接返回结果。
  • Codegen 层:模型生成检测器函数,经 AST 白名单沙箱验证后持久化复用。
  • Promote 层:人工审阅候选检测器,并将稳定逻辑合并进源码库。
  • 零模型调用:命中确定性路径的请求不调用模型,token 用量为 0。
  • 安全机制:AST 节点白名单与属性黑名单,用于限制生成代码的执行能力。

三层 Fast Path 的设计权衡

该框架将 Agent 执行拆为确定性与不确定性两层:可控的确定性交给代码,可控之外的智能交给模型。内置匹配器可处理算术、进制转换、闰年判断、日期推算、单位换算等场景。例如,计算 255 的十六进制表示可以完全不调用模型。

Codegen 层则面向内置规则未覆盖的长尾需求:首次处理某类任务时,系统可调用模型生成检测器代码,再完成 AST 验证与文件写入;后续同类请求则可命中持久化插件,不再调用模型。这形成了“首次生成、后续复用”的路径,使部分长尾确定性逻辑能够沉淀为可复用资产。

不过,AST 验证解决的是执行安全问题,而不是业务正确性问题。一个语义错误的检测器仍可能通过 AST 白名单检查并被复用,因此人工审阅与 Promote 环节仍是保证结果可靠性的关键。项目还针对 evalexecformat_map 等潜在逃逸入口设置了限制,并通过回归测试防止已知绕过路径再次出现。

层级处理方式安全保障正确性保障持久化形式
内置匹配器Python 代码直接计算人工编写与测试规则逻辑与测试源码内嵌
Codegen模型生成检测器函数AST 白名单沙箱不做语义正确性验证data/fastpath_plugins/
Promote人工审阅后晋升代码审查确认人工把关src/resolve_harness/generated_detectors.py

PSE 编排与 Fast Path 的协同

resolve-harness 的任务模式采用 Planner → Specialist → Evaluator → Reporter 的四角色流水线。Planner 将目标拆成有序子任务;Specialist 在工具循环中执行任务,并支持并行 fan-out;Evaluator 返回 passedscorefeedback,未通过时可触发重规划;Reporter 汇总交付物。

Fast Path 位于 Specialist 的入口处,使符合条件的子任务可以跳过模型直接完成。 对编排层而言,这一过程无需额外适配。

端到端可以概括为三类路径:

  1. 「255 的十六进制是多少」→ 命中内置匹配器,零模型调用并直接返回。
  2. 「把订单按金额区间分组统计」→ 若无内置规则,可进入 Codegen,生成并保存检测器;后续同类请求可直接复用。
  3. 「分析上个季度营收为何下滑,并写复盘」→ 属于开放目标,Fast Path 让路,进入完整 PSE 流程。

落地建议

适合尝试的场景

  • 存在大量重复性结构化任务,例如固定格式的数据转换、指标计算或规则判断。
  • 希望将常用逻辑沉淀为团队可复用代码,而非散落在聊天记录或临时提示词中。
  • 多步骤任务中同时包含确定性计算与开放式分析,希望把前者优先交给代码处理。

需要谨慎评估的场景

  • 以生成式创作或开放式理解为核心的产品,Fast Path 可覆盖的范围相对有限。
  • 对代码执行安全和结果正确性要求极高的场景,应结合自身威胁模型、测试与人工审核流程进行评估。

写在最后

确定性与不确定性任务分层处理,是 Agent 工程化的一种实用思路:让代码承担重复、可验证的计算,让模型处理需要判断和理解的开放问题。 Fast Path 的价值不只在于减少模型调用,也在于把领域中的稳定逻辑逐步沉淀为可复用资产。前提是,自动化能力越强,对安全验证和人工质量把关的要求也应越高。