08｜Agent 调试：用轨迹和可执行评测定位首个错误

目标：从一个失败工单提取可回归用例，用最小干预定位首个错误。不要只盯最后一句话。 01｜轨迹必须能回放 每步记录 run_id、task_id、model/prompt/tool 版本、step、tool_name、规范化参数、结果状态、延迟和 token 计数。保留脱敏后的工具输入输出与环境快照版本；每个任务开始前重置沙箱。检查是否该调用工具，再检查工具选择、参数语义、执行、是否使用观察、终止条件与最终答案。首个错误和最终失败可分别标注，避免把上游污染归因到末端。 02｜三类受控替换 固定模型只替换提示；固定提示只替换工具描述；同一失败任务把首个错误调用替换成正确调用，再让模型继续。若后续明显恢复，先修路由/参数；若仍失败，检查状态更新、观察裁剪、步骤预算。用录制的工具响应做确定性回归，用真实沙箱测时延、权限与失败恢复。温度低也不保证多次运行一致，记录种子和服务版本并做重复实验。 03｜分开报告能跑和跑对 schema 有效率衡量格式，工具执行率衡量可执行，任务成功率看最终状态，副作用违规率单列；再报告 p95 延迟、调用次数和单位成功成本。重复跑同一题 k 次，区分「至少一次成功」与「全部成功」，不要混成一个指标。开放文本评分可辅助，但可执行状态优先，结果尽量给出可重放证据。对于存在多条正确路径的题，只将必要条件写成约束。 练习｜附件是小型 trace 回放器，分别植入路由、参数、工具超时、虚报成功和额外写入。观察首错分布；为一个实际失败病例新增可回放测试，写出替换一处后的预期结果。