概念/概念定义

应用背景

一套工单 Agent 的字段抽取准确率提高，并不必然缩短工单处理时间。新增澄清步骤可能提升局部正确率，同时增加转人工比例和客户等待。技术回归集能发现能力退化，业务仍需要另一套观察尺度。

概念定义

业务评测集由关键业务流程、代表场景、场景权重、指标口径和验收条件组成。它把 Agent 版本放进端到端任务中，观察完成时间、一次解决率、人工接管、错误动作、业务损失或其他领域结果。场景权重来自业务量与风险，不能由模型自行决定。

business_evaluation_set:
  business_process: ...
  scenarios:
    - id: ...
      weight: ...
      metric: ...
      data_definition: ...
      acceptance: ...
  owner: ...
  version: ...
  change_log: []

工程用法

产品、业务和工程团队共同定义样本抽取、指标分母、时间窗口和例外处理。结果按场景分别报告，再按已登记权重汇总。模型或工作流改动通过技术回归后，还要在业务评测集中检查业务流程是否实际改善，以及是否把成本转移给人工岗位或下游系统。

与技术评测集的边界

业务评测集不替代结构校验、事实正确性、安全、性能和稳定性测试。技术评测回答组件是否符合规格，业务评测回答整条流程是否得到改善。两套资产可以由不同责任人维护，但发布回执需要同时引用它们的版本和结果。