档位说明
Agentic 任务的工程完成度分级
- A几乎不犯错,只犯微小的 UI、交互类错误。
- B大概率会错,但描述错误现象后通常可以一轮修复。
- C大概率错,需要更多轮交互,模型仍能自主推进修复。
- D需要人工提供大量 log、视觉描述或操作协助才能修复。
- Failed知识或方法论不足,即便有人帮助也无法完成任务。
- Pass前代模型已经拿到 A,不再重复测试。
- Skip因各方面原因不进行测试。
- Pending正在测试中。
同档位中只有少数轮次出现问题、大部分表现良好时,会升半档,用 B+、C+ 表示。