Agent 评估框架横向对比：谁在衡量 Agent 的能力？

1. 给 Agent 一个 GitHub Issue 描述
2. Agent 在仓库代码中定位问题
3. Agent 生成修复补丁
4. 在 Docker 容器中运行测试套件
5. 通过所有测试 → 解决

# 使用 SWE-bench 评估
from swebench.harness.run_evaluation import run_instance

result = run_instance(
    instance_id="django__django-11099",
    model_patch=generated_patch,
    repo_path="./repos/django",
    test_cmd="python -m pytest tests/",
)
# 返回: {resolved: True/False, test_output: ...}

# tau-bench 评估示例
from tau_bench.envs import retail
from tau_bench.runs import run_agent

env = retail.RetailEnv(
    user_model="gpt-4o",
    policy_docs=retail.POLICY_DOCS,
    tools=retail.TOOLS,
)

result = run_agent(
    agent=your_agent,
    env=env,
    task="客户想取消订单 #12345 并全额退款",
    max_turns=30,
)
# 返回: {task_completed: bool, policy_violations: [...], turns: 12}

你的 Agent 是什么类型？

├── 代码 Agent（自动修复 bug）
│   → SWE-bench（唯一选择）
│
├── 客服 Agent（遵循策略、调用 API）
│   → τ-bench（最贴合）
│
├── Web 自动化 Agent（浏览器操作）
│   → WebArena
│
├── 通用 Agent（多场景能力摸底）
│   → AgentBench
│
└── 自定义场景
    → 参考以上框架设计自定义评估

# 自建评估框架骨架
from dataclasses import dataclass

@dataclass
class AgentEvalResult:
    success: bool
    steps: int
    optimal_steps: int
    tool_calls_correct: int
    tool_calls_total: int
    policy_violations: int
    error_recoveries: int
    total_tokens: int

def evaluate_agent(agent, task_suite):
    results = []
    for task in task_suite:
        trace = agent.run(task)
        result = AgentEvalResult(
            success=task.verify(trace),
            steps=len(trace.actions),
            optimal_steps=task.optimal_steps,
            tool_calls_correct=sum(1 for a in trace.actions if a.is_correct),
            tool_calls_total=len(trace.actions),
            policy_violations=len(trace.violations),
            error_recoveries=len(trace.recoveries),
            total_tokens=trace.total_tokens,
        )
        results.append(result)
    return aggregate(results)