sshipanoo

把问题拆开,用实验和代码留下可以复查的答案。

17. 代码 Agent 评测方法的设计反思

HumanEval、SWE-bench 等基准回答了模型能不能写对代码这个问题,但和真实开发任务相比仍有距离。这一篇梳理现有评测的覆盖范围、它们的局限,以及如果要做一个更接近真实场景的评测应该考虑哪些维度