研讨会/反思 Reflection

ADPS Agent 设计模式系列研讨会

ADPS 设计模式系列研讨会 · 反思模块第一次研讨会

在线与离线反思、反馈延迟、评测证据、Skill 演化、归因与自愈边界。

主持人 张海立、黄佳
核心研讨嘉宾 张栋、周默、王伟、陆钱春、Pylon Peng、李佳奇

2026 年 8 月 12 日,ADPS 组织了反思模块第一次专题研讨。与会者来自研发安全、零售算法、质量评测、通信知识工程、软件研发和旅行服务等场景。讨论从应用内的生成评审展开,逐步进入离线评测、Skill 演化、归因、自愈权限和长反馈链。

1. 应用内反思与应用外评测

应用内,评分标准(rubric)和评分器(grader)检查当前产物,修订回路根据检查结果改正输出。应用外,团队用数据集、评估器和运行轨迹比较不同版本,检查新版本是否损坏原有功能,以及评分器是否与人工判断一致。

同一套评分器可以用于这两类工作。评测给出检查结果;反思根据结果提出或执行修改,然后重跑相关任务,确认修改的效果。

研讨会后,白皮书将这条分工写入了反思模块总纲。

即时与延迟反馈通过同一运行标识回链,归因之后才进入修改、评测和发布。
即时与延迟反馈通过同一运行标识回链,归因之后才进入修改、评测和发布。

2. 在线反思修当下,离线反思修系统

王伟介绍的环境构建 Agent,每遇到一类失败就增加一个修复补丁。据他的观察,两个月里稳定性提高了,构建时间却从约 5 分钟延长到 30 分钟,个别任务需要一小时。按日汇总运行记录后,团队发现几十条约束中有重复和冲突,需要统一整理。

在线反思跟随当前任务运行,工具报错、参数不符或产物不完整时,系统当场修正。离线反思批量读取一段时间的交互轨迹,寻找多次任务中的重复、冲突和系统性问题。

针对这种积累,离线复盘要检查哪些补丁处理的是同一故障、哪些约束互相冲突,合并或删除后再比较构建成功率与耗时。在线修复则保留修改记录和回滚方式。

3. 反馈延迟决定回路长度

李佳奇对比了代码与业务分析。代码可以立即获得编译、测试和发布日志;一条经营建议要经过产品、运营、数据分析、供应链和用户行为,几天后才知道是否有效。后者仍然需要反馈回路,只是无法压缩成当前 Session 内的自我修订。

业务结果尚未返回时,可以先检查建议的格式、引用和已知矛盾。后续结果到达,再关联当时的建议与 Agent 版本,由业务人员分析建议是否起作用,以及还有哪些因素影响了结果。

研讨会将“即时/延迟反馈”与“封闭/开放性任务”记录为两个相关但不等价的判断。开放任务也可以包含强硬的局部验收,封闭任务的最终用户体验也可能滞后。

4. 反思的证据与停止条件

研讨会讨论了反思流程中的四类实现职责:

  1. 硬校验层优先使用机器真值。
  2. 模型诊断层分析产物和轨迹。
  3. 记忆沉淀层决定什么内容能够跨任务复用。
  4. 调度控制层管理启停、轮次、成本、降级和人工接管。

白皮书接受了这个结构,同时对“可复用”作了边界补充:当反思只修改本轮输出时,可以选择不保存;任何跨任务的结论都要进入准入、版本和退役流程。

讨论还涉及元反思、审议式反思和知识完备性检测。这些方向对高风险、缺少确定性真值的任务有启发,当前仍处于探索阶段,研讨会没有将其列为新的正式模式。

5. 三层环境把 Bad Case 从线上收回线下

开发、评测和生产需要三层环境。开发环境允许人和 Agent 充分交互,评测环境在 benchmark 上检查新规则和新版本,生产环境使用已验证的流程和资产。

生产中出现 Bad Case 时,团队先保持线上路径稳定,再将失败收入评测集,生成候选规则或知识更新,通过回归后逐级发布。这个流程为在线反思设定了一个实用上限:当修改会影响共享资产或生产策略时,优先转入离线的发布流程。

6. 归因是自愈之前的独立工程

陆钱春提出按运行时、执行过程、业务结果和体验治理组织观测。模型调用失败要检查接口和错误记录,步骤缺失要检查执行轨迹,目标未完成则要对照业务要求。缺少领域知识或团队意见不一致时,需要请相应人员补充资料或作出决定。

组织级 Agent 和 Skill 的可靠性治理需要连接事前准入与巡检、运行时健康检查与熔断、事后轨迹审计与整改复测。观测埋点、错误类型和评测方法还可以表达为统一原语,供不同 Agent 与 Skill 共用。

根因至少需要分两类。工具参数失效、步骤缺失或网络波动可能通过重试、修正或降级恢复。专业知识缺失、业务规则不同或各团队期望不一致,已经超出原 Agent 的自愈边界。一个诊断即使找到了现象,也可能是假阳性,或者根本没有可授权的修复方案。

这部分讨论促使 F4 自愈循环收紧了适用条件:需要可识别的失败、可执行的修复、独立复验和可用回滚。根因指向知识、业务决策或责任边界时,循环应转人。

7. Skill 演化要同时解决生成、比较和并存

王伟介绍,管理上千个 Skill 时,一个 Skill 单独通过测试,放进包含几十个 Skill 的环境却可能触发错误、抢占路由或与旧流程冲突。因此需要同时测试单个 Skill 和实际使用的组合,区分 Agent 本身、Skill 内容和路由选择造成的影响。

Pylon Peng 介绍了每日反思流程:主 Agent 评测子 Agent 的任务结果,任务结束后由 Hook 收集运行轨迹,再分析是否需要新建或修改 Memory、Skill、规则、子 Agent 和 Harness。当工具参数或业务规则变化时,同步更新 Skill 文档与验证用例,候选修改经过独立评测后再发布。

这类日终批处理为 F2 技能包和 F3 经验回放提供了一个可实施的衔接点,但自动产生的资产仍然要经过评测和发布门禁。

8. 交叉评审能打破部分同源盲区

一个脱敏后的 SQL 生成与审查实践最初使用同类模型同时生成和评审,一些问题会穿透审查。将生成与评审分配给不同模型后,问题暴露能力有所改善。

如果两个模型使用同一份有遗漏的评分标准,它们仍可能漏掉同一种错误。交叉评审的结果还需要对照测试、业务规则、原始资料和专家判断检查。

9. 关键概念

概念 本场定义 当前地位
反思合同 把触发、证据、评审规则、修改范围、权限、预算、复验与留存写成一份可检查合同 已进入反思总纲
双反馈时钟 在线回路处理本轮即时信号,离线回路处理跨任务和延迟反馈 运行方式,不新增模式坐标
补丁债务 在线局部修复持续叠加后形成重复、冲突和过长路径 F3 离线回放的重要输入
修改权 反思结果可以建议或改变哪些对象,以及何时必须进入发布门禁 跨反思与治理的控制字段
归因先于自愈 先确认失败类别、责任边界和可修复对象,再决定是否自动修改 已进入 F4 边界

10. 白皮书修订

  1. 新增反思模块总纲,定义反思与观测、评测、发布治理的边界。
  2. 在线反思与离线反思作为运行方式进入总纲,不新增模式编号。
  3. F1 生成评审增加评审合同、轨迹评审、评审者校准和多维 rubric 交换问题。
  4. F2 技能包增加候选、独立评测、并存评测、灰度、版本与退役的生命周期。
  5. F3 经验回放增加离线 trace 挖掘、延迟反馈和局部补丁合并。
  6. F4 自愈循环区分可修复的运行故障与需要人工补知识、改业务规则的问题。
  7. 元反思、审议式反思和前瞻性反思列为待研究方向。

11. 后续问题

相关页面

本页依据 2026 年 8 月 12 日会议逐字稿整理。内部项目细节已脱敏。

溯源记录

来源记录
ADPS 设计模式系列研讨会 · 反思模块第一次研讨会;会议日期
来源日期
本页首次公开

在 ADPS Chronicle 中查看