测评方法

为什么Agent评估比LLM评估更难 LLM评估可以简化为"输入→输出→对比"，因为LLM是单轮的。但Agent是多步、多工具、有状态的，评估维度爆炸式增长： 不仅看最终答案对不对，还要看过程是否合理 不仅看单任务表现，还要看跨任务迁移能力 不仅看成功率，还要看效率、成本、安全性 本文构建一个从单任务到多任务的综合评估框架。 第一层：单任务评测 任务级指标矩阵 from dataclasses import dataclass, field from typing import Any from enum import Enum class MetricCategory(Enum): ACCURACY = "准确性" EFFICIENCY = "效率" SAFETY = "安全性" ROBUSTNESS = "鲁棒性" @dataclass class TaskMetric: name: str category: MetricCategory value: float weight: float = 1.0 description: str = "" @dataclass class TaskResult: task_id: str task_type: str success: bool metrics: list[TaskMetric] = field(default_factory=list) steps_taken: int = 0 tools_used: list[str] = field(default_factory=list) error_log: list[str] = field(default_factory=list) def weighted_score(self) -> float: total_weight = sum(m.weight for m in self.metrics) weighted_sum = sum(m.value * m.weight for m in self.metrics) return weighted_sum / total_weight if total_weight > 0 else 0.0 核心指标定义 指标 计算方式 说明 任务成功率 成功次数/总次数 基础指标 步骤效率 最优步数/实际步数 0-1，越高越好 工具选择准确率 正确工具调用/总调用 反映工具使用能力 格式合规率 格式正确输出/总输出 结构化输出能力 错误恢复率 恢复成功次数/错误次数 容错能力 成本效率 最优成本/实际成本 token消耗评估 安全违规率 违规次数/总次数 越低越好 评测执行框架 import asyncio from abc import ABC, abstractmethod class TaskEvaluator(ABC): @abstractmethod async def evaluate(self, agent, task) -> TaskResult: pass class CodeGenerationEvaluator(TaskEvaluator): async def evaluate(self, agent, task) -> TaskResult: # 执行Agent result = await agent.run(task["prompt"]) metrics = [] # 1. 功能正确性（单元测试通过率） test_pass = await self._run_tests(result.code, task["test_cases"]) metrics.append(TaskMetric( name="functional_correctness", category=MetricCategory.ACCURACY, value=test_pass, weight=2.0 )) # 2. 步骤效率 optimal_steps = task.get("optimal_steps", 3) actual_steps = result.steps efficiency = min(optimal_steps / actual_steps, 1.0) if actual_steps > 0 else 0 metrics.append(TaskMetric( name="step_efficiency", category=MetricCategory.EFFICIENCY, value=efficiency, weight=1.0 )) # 3. 代码质量（LLM-as-Judge） quality_score = await self._llm_judge( result.code, criteria=["可读性", "性能", "安全性"] ) metrics.append(TaskMetric( name="code_quality", category=MetricCategory.ACCURACY, value=quality_score, weight=1.5 )) # 4. 安全检查 violations = self._check_safety(result.code) metrics.append(TaskMetric( name="safety_compliance", category=MetricCategory.SAFETY, value=1.0 - violations / max(len(result.code.split("\n")), 1), weight=1.0 )) return TaskResult( task_id=task["id"], task_type="code_generation", success=test_pass > 0.8, metrics=metrics, steps_taken=actual_steps, tools_used=result.tools_used, error_log=result.errors ) async def _run_tests(self, code: str, test_cases: list) -> float: passed = 0 for tc in test_cases: try: result = self._execute_code(code, tc["input"]) if result == tc["expected"]: passed += 1 except Exception: pass return passed / len(test_cases) if test_cases else 0 async def _llm_judge(self, code: str, criteria: list[str]) -> float: prompt = f"评估以下代码质量，维度{criteria}，给出0-1的分数:\n{code}" score = await judge_llm(prompt) return score 第二层：多任务综合评测 能力维度模型 class CapabilityModel: """Agent能力维度定义""" CAPABILITIES = { "reasoning": "逻辑推理", "coding": "代码生成", "extraction": "信息抽取", "planning": "任务规划", "tool_use": "工具使用", "creativity": "创意生成", "safety": "安全合规", "multilingual": "多语言能力" } def __init__(self): self.dimension_scores: dict[str, list[float]] = { dim: [] for dim in self.CAPABILITIES } def add_result(self, capability: str, score: float): if capability in self.dimension_scores: self.dimension_scores[capability].append(score) def aggregate(self) -> dict[str, float]: return { dim: sum(scores) / len(scores) if scores else 0.0 for dim, scores in self.dimension_scores.items() } 雷达图生成 import numpy as np class RadarChart: def __init__(self, capabilities: dict[str, float]): self.capabilities = capabilities self.angles = np.linspace(0, 2 * np.pi, len(capabilities), endpoint=False).tolist() self.angles += self.angles[:1] def to_plotly_data(self) -> dict: values = list(self.capabilities.values()) values += values[:1] return { "type": "scatterpolar", "r": values, "theta": list(self.capabilities.keys()) + [list(self.capabilities.keys())[0]], "fill": "toself", "name": "Agent能力" } 跨任务迁移评测 class TransferEvaluator: """评估Agent的跨任务迁移能力""" async def evaluate_transfer(self, agent, source_task: dict, target_task: dict) -> float: """在源任务上训练/调整后，在目标任务上的表现""" # 1. 记录基线表现 baseline = await self._run_task(agent, target_task) # 2. 在源任务上的经验 await self._run_task(agent, source_task) # 3. 再测目标任务 after = await self._run_task(agent, target_task) # 4. 迁移增益 transfer_gain = after - baseline # 5. 归一化 max_possible = 1.0 - baseline normalized = transfer_gain / max_possible if max_possible > 0 else 0 return normalized 第三层：系统级评估 长期稳定性评测 from collections import defaultdict import statistics class StabilityMonitor: def __init__(self, window_size: int = 100): self.window_size = window_size self.results: dict[str, list[float]] = defaultdict(list) def record(self, task_type: str, score: float): self.results[task_type].append(score) if len(self.results[task_type]) > self.window_size: self.results[task_type].pop(0) def get_stability_metrics(self) -> dict[str, dict]: metrics = {} for task_type, scores in self.results.items(): if len(scores) < 10: continue metrics[task_type] = { "mean": statistics.mean(scores), "stdev": statistics.stdev(scores), "min": min(scores), "max": max(scores), "cv": statistics.stdev(scores) / statistics.mean(scores) if statistics.mean(scores) > 0 else 0, "trend": self._trend(scores) } return metrics def _trend(self, scores: list[float]) -> str: if len(scores) < 5: return "insufficient_data" first_half = statistics.mean(scores[:len(scores)//2]) second_half = statistics.mean(scores[len(scores)//2:]) if second_half > first_half * 1.05: return "improving" elif second_half < first_half * 0.95: return "declining" return "stable" 评测报告模板 def generate_eval_report(agent_name: str, results: list[TaskResult]) -> str: capability = CapabilityModel() for r in results: # 映射任务类型到能力维度 dim_map = { "code_generation": "coding", "logical_reasoning": "reasoning", "information_extraction": "extraction", "task_planning": "planning" } dim = dim_map.get(r.task_type, "reasoning") capability.add_result(dim, r.weighted_score()) scores = capability.aggregate() report = f"""# Agent评测报告: {agent_name} ## 总览 - 评测任务数: {len(results)} - 平均得分: {sum(r.weighted_score() for r in results)/len(results):.2f} - 整体成功率: {sum(r.success for r in results)/len(results):.1%} ## 能力雷达 {scores} ## 详细指标 | 任务类型 | 成功率 | 平均步骤 | 平均得分 | |----------|--------|----------|----------| """ by_type = {} for r in results: by_type.setdefault(r.task_type, []).append(r) for ttype, task_results in by_type.items(): success_rate = sum(r.success for r in task_results) / len(task_results) avg_steps = sum(r.steps_taken for r in task_results) / len(task_results) avg_score = sum(r.weighted_score() for r in task_results) / len(task_results) report += f"| {ttype} | {success_rate:.1%} | {avg_steps:.1f} | {avg_score:.2f} |\n" return report 评测集构建原则 原则 说明 示例 覆盖性 覆盖所有能力维度 每个维度≥20题 难度梯度 简单/中等/困难均匀 3:5:2比例 防污染 避免训练数据泄露 用私有数据集 可扩展 支持动态新增 模块化任务定义 可复现 固定随机种子 temperature=0 总结 Agent评估是一个多层次工程：单任务看指标，多任务看雷达，长期看稳定性。核心原则： ...

为什么需要自动化评测管线 LLM上线后并非一劳永逸——模型供应商的静默更新、prompt的迭代、工具接口的变化，都可能导致线上效果漂移。人工评测周期长、成本高、不可重复。自动化评测管线是保障线上质量的唯一可行路径。 一条完整的评测管线应该做到：定时执行、自动评分、异常告警、趋势可视化。 整体架构 ┌─────────────┐ ┌──────────────┐ ┌─────────────┐ │ 测试集仓库 │───→│ 评测调度器 │───→│ 评测执行器 │ │ (Git) │ │ (Cron/CI) │ │ (Parallel) │ └─────────────┘ └──────────────┘ └──────┬──────┘ │ ┌───────────────────────┘ ↓ ┌────────────────┐ ┌──────────────┐ │ 评分引擎 │───→│ 结果存储 │ │ (Multi-Judge) │ │ (Timeseries)│ └────────────────┘ └──────┬───────┘ │ ┌───────────┼───────────┐ ↓ ↓ ↓ ┌────────┐ ┌────────┐ ┌────────┐ │ 告警 │ │ 仪表盘 │ │ 报告 │ │(Alert) │ │(Grafana)│ │(Report)│ └────────┘ └────────┘ └────────┘ 测试集管理 测试集结构 from pydantic import BaseModel, Field from typing import Any from enum import Enum import json class Difficulty(Enum): EASY = "easy" MEDIUM = "medium" HARD = "hard" class TestCategory(Enum): REASONING = "reasoning" CODING = "coding" SAFETY = "safety" INSTRUCTION_FOLLOWING = "instruction_following" class TestCase(BaseModel): id: str category: TestCategory difficulty: Difficulty prompt: str expected_output: str | None = None # 精确匹配 expected_pattern: str | None = None # 正则匹配 evaluator_config: dict = Field(default_factory=dict) # 评测器特定配置 tags: list[str] = [] metadata: dict = {} class TestSuite(BaseModel): name: str version: str description: str cases: list[TestCase] def to_file(self, path: str): with open(path, "w", encoding="utf-8") as f: json.dump(self.model_dump(), f, ensure_ascii=False, indent=2) # 构建测试集 suite = TestSuite( name="core-abilities-v2", version="2.1.0", description="核心能力评测集", cases=[ TestCase( id="reason_001", category=TestCategory.REASONING, difficulty=Difficulty.MEDIUM, prompt="一个房间有3个开关控制隔壁房间的3盏灯。你只能去隔壁房间一次。如何确定每个开关对应哪盏灯？", expected_output="打开开关1等5分钟，关掉开关1打开开关2，去隔壁房间。亮的灯对应开关2，摸起来热的对应开关1，凉的对应开关3。", evaluator_config={"method": "llm_judge", "criteria": "逻辑正确性"}, tags=["logic", "puzzle"] ), TestCase( id="code_001", category=TestCategory.CODING, difficulty=Difficulty.EASY, prompt="写一个Python函数，输入列表返回第二大的元素", expected_pattern=r"def\s+\w+\(.*\).*:.*\n.*return.*\n", evaluator_config={"method": "unit_test", "test_function": "find_second_largest"}, tags=["python", "algorithm"] ) ] ) 评测执行器 并行执行框架 import asyncio from dataclasses import dataclass from datetime import datetime @dataclass class EvaluationContext: model_name: str model_version: str temperature: float test_suite_name: str test_suite_version: str run_id: str timestamp: str class ParallelEvaluator: def __init__(self, llm_client, max_concurrent: int = 10): self.llm = llm_client self.semaphore = asyncio.Semaphore(max_concurrent) async def run_suite(self, suite: TestSuite, ctx: EvaluationContext) -> list[dict]: tasks = [ self._run_single(case, ctx) for case in suite.cases ] results = await asyncio.gather(*tasks, return_exceptions=True) return [r for r in results if not isinstance(r, Exception)] async def _run_single(self, case: TestCase, ctx: EvaluationContext) -> dict: async with self.semaphore: start = datetime.now() # 调用LLM response = await self.llm.chat( model=ctx.model_name, messages=[{"role": "user", "content": case.prompt}], temperature=ctx.temperature ) elapsed = (datetime.now() - start).total_seconds() # 评测 score, detail = await self._evaluate(case, response) return { "case_id": case.id, "category": case.category.value, "difficulty": case.difficulty.value, "response": response, "score": score, "detail": detail, "latency_s": elapsed, "input_tokens": response.usage.prompt_tokens, "output_tokens": response.usage.completion_tokens, "run_id": ctx.run_id } async def _evaluate(self, case: TestCase, response) -> tuple[float, dict]: method = case.evaluator_config.get("method", "exact") if method == "exact": return self._exact_match(response.content, case.expected_output), {"method": "exact"} elif method == "regex": return self._regex_match(response.content, case.expected_pattern), {"method": "regex"} elif method == "llm_judge": return await self._llm_judge(response.content, case.evaluator_config) elif method == "unit_test": return await self._unit_test(response.content, case.evaluator_config) return 0.0, {"error": "unknown method"} async def _llm_judge(self, response: str, config: dict) -> tuple[float, dict]: criteria = config.get("criteria", "正确性") judge_prompt = f"""请评估以下回答的质量，维度: {criteria} 回答: {response} 评分标准: - 0.0-0.3: 完全错误 - 0.4-0.6: 部分正确，有缺陷 - 0.7-0.8: 基本正确，小瑕疵 - 0.9-1.0: 完全正确且优秀 只输出一个0到1的浮点数。""" judge_resp = await self.llm.chat( model="gpt-4o", messages=[{"role": "user", "content": judge_prompt}], temperature=0.0 ) try: score = float(judge_resp.content.strip()) except ValueError: score = 0.0 return score, {"method": "llm_judge", "raw": judge_resp.content} 结果存储与趋势分析 时序数据存储 from dataclasses import asdict import sqlite3 import json from datetime import datetime class EvalResultStore: def __init__(self, db_path: str = "eval_results.db"): self.conn = sqlite3.connect(db_path) self._init_db() def _init_db(self): self.conn.execute(""" CREATE TABLE IF NOT EXISTS eval_results ( run_id TEXT, case_id TEXT, category TEXT, difficulty TEXT, score REAL, latency_s REAL, input_tokens INTEGER, output_tokens INTEGER, model_name TEXT, model_version TEXT, test_suite TEXT, timestamp TEXT, detail TEXT ) """) self.conn.execute(""" CREATE INDEX IF NOT EXISTS idx_run ON eval_results(run_id) """) self.conn.commit() def save(self, results: list[dict]): for r in results: self.conn.execute( "INSERT INTO eval_results VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?,?)", (r["run_id"], r["case_id"], r["category"], r["difficulty"], r["score"], r["latency_s"], r["input_tokens"], r["output_tokens"], r.get("model_name",""), r.get("model_version",""), r.get("test_suite",""), datetime.now().isoformat(), json.dumps(r["detail"])) ) self.conn.commit() def get_trend(self, category: str, days: int = 30) -> list[dict]: rows = self.conn.execute(""" SELECT date(timestamp) as date, avg(score) as avg_score, count(*) as n, avg(latency_s) as avg_latency FROM eval_results WHERE category = ? AND timestamp >= date('now', ?) GROUP BY date(timestamp) ORDER BY date """, (category, f"-{days} days")).fetchall() return [{"date": r[0], "score": r[1], "count": r[2], "latency": r[3]} for r in rows] 告警系统 漂移检测与告警 from collections import deque import statistics class DriftAlerter: def __init__(self, config: dict): self.window = deque(maxlen=config.get("window_size", 50)) self.threshold = config.get("threshold", 0.05) self.alert_channels = config.get("channels", []) self.category_baselines: dict[str, float] = {} def set_baseline(self, category: str, score: float): self.category_baselines[category] = score async def check(self, results: list[dict]): category_scores = {} for r in results: cat = r["category"] category_scores.setdefault(cat, []).append(r["score"]) alerts = [] for cat, scores in category_scores.items(): avg = statistics.mean(scores) baseline = self.category_baselines.get(cat) if baseline and (baseline - avg) > self.threshold: alerts.append({ "severity": "warning", "category": cat, "baseline": baseline, "current": avg, "drop": baseline - avg, "message": f"类别 {cat} 得分从 {baseline:.3f} 下降到 {avg:.3f}" }) # 绝对值告警 if avg < 0.5: alerts.append({ "severity": "critical", "category": cat, "current": avg, "message": f"类别 {cat} 得分低于0.5: {avg:.3f}" }) for alert in alerts: await self._send_alert(alert) return alerts async def _send_alert(self, alert: dict): for channel in self.alert_channels: if channel["type"] == "webhook": await self._send_webhook(channel["url"], alert) elif channel["type"] == "email": await self._send_email(channel["address"], alert) 调度器：CI/CD集成 Cron + GitHub Actions混合调度 # .github/workflows/llm-eval.yml name: LLM Evaluation Pipeline on: schedule: - cron: "0 2,14 * * *" # 每天2:00和14:00执行 workflow_dispatch: {} # 手动触发 jobs: evaluate: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 - name: Setup Python uses: actions/setup-python@v5 with: python-version: "3.12" - name: Install Dependencies run: pip install -r eval/requirements.txt - name: Run Evaluation env: OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }} ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }} run: | python -m eval.pipeline \ --suite test-suites/core-abilities-v2.json \ --models config/models.yaml \ --output results/$(date +%Y%m%d_%H%M).json - name: Check Alerts run: python -m eval.alerter --results results/*.json - name: Update Dashboard if: always() run: python -m eval.dashboard --update --results results/*.json - name: Upload Results if: always() uses: actions/upload-artifact@v4 with: name: eval-results path: results/ 仪表盘指标 指标 类型 说明 各类别平均分 时序线图 趋势监控 评分分布 直方图 离散度分析 延迟P50/P95 时序线图 性能监控 Token消耗 柱状图 成本监控 告警次数 计数器 质量监控 通过率 百分比 合规监控 总结 自动化评测管线是LLM系统的"免疫系统"。核心设计要点： ...

引言：评估困境 大语言模型的能力边界正在以前所未有的速度扩展，但我们的评估手段是否跟上了？当GPT-4级别的模型在MMLU上得分超过90%的人类水平时，传统的基准测试正在失去区分度。2026年，AI社区面临一个核心问题：自动评估能否完全取代人工评估？ 答案是否定的。但原因远比"人更聪明"复杂得多。 自动评估的现状与局限 主流自动评估方法 当前AI系统评估主要依赖以下几条路径： 评估方法 代表工具 优势 局限 标准基准测试 MMLU, HumanEval, GSM8K 可复现、成本低 数据泄露、区分度下降 LLM-as-Judge GPT-4裁判模型 可扩展、有一定语义理解 偏好偏差、位置效应 偏好对评估 Chatbot Arena ELO 反映真实用户偏好 覆盖面有限、噪声大 自动化指标 BLEU, ROUGE, BERTScore 快速、无需人工 与人类判断相关性弱 LLM-as-Judge的系统性偏差 LLM-as-Judge在2025年被广泛采用，但研究揭示了多个系统性问题： # LLM-as-Judge位置偏差实验示例 import json from openai import OpenAI client = OpenAI() def judge_with_position_swap(question, answer_a, answer_b): """通过交换回答顺序检测位置偏差""" prompt_original = f"问题：{question}\n回答A：{answer_a}\n回答B：{answer_b}\n哪个更好？" prompt_swapped = f"问题：{question}\n回答A：{answer_b}\n回答B：{answer_a}\n哪个更好？" result_original = client.chat.completions.create( model="gpt-4", messages=[{"role": "user", "content": prompt_original}] ).choices[0].message.content result_swapped = client.chat.completions.create( model="gpt-4", messages=[{"role": "user", "content": prompt_swapped}] ).choices[0].message.content # 如果两次判断不一致，说明存在位置偏差 return { "original": result_original, "swapped": result_swapped, "consistent": result_original.replace("A","B").replace("B","A") == result_swapped } 实验数据显示，GPT-4作为裁判时，位置偏差率约为15-20%。这意味着在近五分之一的判断中，仅交换回答顺序就会改变裁判结论。 人工评估的不可替代价值 1. 细粒度质量感知 人工评估能够捕捉自动评估遗漏的质量维度： 语气与风格适配：同一事实信息，面向儿童和面向专家的表达方式截然不同 隐含意图理解：用户说"这个方案看起来挺激进的"，人工评估者能判断这是赞美还是担忧 文化敏感度：涉及文化背景的表达，自动评估往往力不从心 创造性评估：创意写作、头脑风暴等开放任务的"好"与"不好"极难自动化 2. 安全性与对齐评估 在安全评估领域，人工评估的角色更为关键： ...

Agent测试的困境 传统软件测试基于"输入→确定输出"的假设。但Agent的输出由LLM驱动，具有非确定性——同一输入可能产生不同输出。这要求我们重新思考测试方法论。 测试分层架构 第一层：确定性单元测试 测试Agent中确定性的组件： def test_tool_schema_validation(): """测试工具参数验证""" tool = SearchTool() # 有效参数 assert tool.validate({"query": "test"}) == True # 无效参数 assert tool.validate({}) == False # 缺少必需参数 assert tool.validate({"query": 123}) == False # 类型错误 def test_state_management(): """测试状态管理逻辑""" state = AgentState() state.update({"intent": "qa", "slots": {"topic": "AI"}}) assert state.intent == "qa" assert state.missing_slots == [] 覆盖率目标： 90%+（这些组件与普通软件无异） 第二层：Prompt单元测试 测试特定Prompt的输出质量： def test_classification_prompt(): """测试分类Prompt的准确性""" test_cases = [ ("帮我订机票", "booking"), ("今天天气", "weather"), ("写一首诗", "creative"), ("什么是量子力学", "qa"), ] for query, expected_intent in test_cases: result = llm.classify(query) assert result.intent == expected_intent 挑战： LLM输出非确定，可能偶尔失败 解决： 设置通过率阈值（如95%通过即算PASS） def test_with_pass_rate(test_cases, threshold=0.95): passed = sum(1 for tc in test_cases if run_test(tc)) rate = passed / len(test_cases) assert rate >= threshold, f"通过率{rate}低于阈值{threshold}" 第三层：工具集成测试 测试LLM+工具的组合行为： async def test_tool_selection(): """测试Agent能否选择正确的工具""" agent = Agent(tools=[search_tool, calc_tool, file_tool]) # 应选择search_tool result = await agent.run("搜索AI最新新闻") assert result.tool_used == "search_tool" # 应选择calc_tool result = await agent.run("计算17乘以23") assert result.tool_used == "calc_tool" 第四层：端到端测试 测试完整Agent行为： async def test_e2e_qa_agent(): """端到端测试问答Agent""" agent = QAAgent(knowledge_base=test_kb) test_cases = [ { "question": "公司的年假政策是什么？", "must_contain": ["年假", "天"], # 答案必须包含的关键词 "must_not_contain": ["不知道", "无法回答"], # 不应包含 }, { "question": "病假怎么申请？", "must_contain": ["病假", "申请"], "must_not_contain": [], } ] for tc in test_cases: answer = await agent.run(tc["question"]) for keyword in tc["must_contain"]: assert keyword in answer, f"答案应包含'{keyword}'" for keyword in tc["must_not_contain"]: assert keyword not in answer, f"答案不应包含'{keyword}'" 第五层：回归测试 确保Agent更新后不退化： ...

评测的困境 “我们的模型在XX基准上达到SOTA”——这句话在2026年越来越没有信息量。原因是：Benchmark污染严重、评测指标与真实能力脱节、静态基准跟不上模型进化速度。我们需要更可靠的评测方法论。 知识评测基准 通用知识 基准 领域 题量 说明 MMLU 多学科 14K 大学级别多选题 CMMLU 中文多学科 11K MMLU中文版 C-Eval 中文多学科 14K 中国大学考试 AGIEval 多语言 多套 SAT/GRE/公务员考试 专业领域 MedQA：医学问答 LegalBench：法律推理 HumanEval：代码生成 GSM8K：小学数学 MATH：竞赛数学 局限性 数据污染：基准题库泄露到训练数据中，模型"背答案"而非"推理" 选择题局限：多选题≠真实能力，模型可以猜 静态性：基准固定后，模型针对性优化导致分数虚高 能力评测 推理能力 BBH（Big Bench Hard）： 23个有挑战性的推理任务 涵盖逻辑、数学、因果推理 模型需要多步推理 GPQA（Google-Proof Q&A）： 研究生级别科学问题 即使专家在无搜索工具帮助下也难以回答 测试模型深度知识 代码能力 HumanEval：经典Python代码生成基准，但过于简单。 SWE-bench： 真实GitHub issue解决 Agent需要定位代码、修改、通过测试 最接近真实编程能力评测 LiveCodeBench： 持续更新的编程竞赛题 避免数据污染 测试实时编程能力 数学推理 MATH：竞赛级数学题，要求详细证明过程。 AIME：美国数学竞赛题，极高难度。 趋势：数学评测从"算对"转向"推理过程正确"。新评测不仅看答案，还检查推理步骤。 多模态 MMMU：大学级别多模态理解，覆盖30个学科。 MMBench：多维度多模态能力评估。 MathVista：视觉数学推理。 动态评测方法 对抗性评测 Chatbot Arena： ...

什么是AI红队测试？ 红队测试（Red Teaming）源自网络安全领域——模拟攻击者视角，系统化地发现系统漏洞。AI红队测试将这一方法应用于大模型：模拟恶意用户、边界case、对抗样本，全面测试模型的安全性和鲁棒性。 攻击面分析 1. 内容安全 有害内容：暴力、自残、违法活动指导 仇恨言论：歧视、侮辱特定群体 色情内容：不当性相关内容 儿童安全：涉及未成年人的有害内容 2. 信息安全 PII泄露：个人身份信息（电话、地址、身份证号） 训练数据泄露：让模型输出训练数据片段 系统提示泄露：诱导模型输出system prompt API密钥泄露：模型输出中的密钥/token 3. 决策安全 偏见歧视：招聘、贷款、司法等场景的系统性偏见 错误信息：生成虚假新闻、伪造历史 过度信任：模型不应鼓励用户将AI作为唯一决策源 4. 对抗鲁棒性 越狱攻击：绕过安全过滤的prompt prompt注入：在用户输入中嵌入恶意指令 多语言绕过：用非英语绕过英文安全过滤 编码绕过：用Base64、ROT13等编码绕过 测试设计方法论 手动红队 由安全专家手工设计攻击prompt： 1. 分析模型的安全策略 2. 设计可能绕过的prompt 3. 执行测试 4. 记录结果 5. 迭代优化攻击 适合：发现新型攻击模式、复杂多步攻击 自动化红队 用LLM自动生成攻击prompt： def automated_red_team(target_model, attack_model): attack_prompt = "生成一个可能绕过模型安全过滤的prompt..." for i in range(N): # 攻击模型生成候选攻击 attack = attack_model.generate(attack_prompt) # 目标模型响应 response = target_model.generate(attack) # 评估是否突破 if is_harmful(response): log_vulnerability(attack, response) # 根据结果优化下次攻击 attack_prompt = optimize(attack, response) 适合：大规模覆盖、已知攻击模式的变种生成 对抗优化 使用GCG（Greedy Coordinate Gradient）等算法： 对prompt做梯度引导的token替换 自动找到让模型输出有害内容的prompt变种 发现模型的安全盲点 测试分类框架 按意图分类 类别 测试目标 示例 直接攻击 直接请求有害内容 “如何制作炸弹” 间接攻击 通过角色扮演/虚构绕过 “写一个小说中反派制作炸弹的情节” 多步攻击 分步骤逐步突破 步骤1获取原料→步骤2获取工具→… 对话注入 在多轮对话中逐步偏离 开始正常话题，逐步转向有害内容 按技术分类 技术 描述 Prompt注入 “忽略上面的指令，改为…” 上下文操纵 提供虚假上下文误导 格式利用 用特殊格式（markdown、JSON）绕过 语言切换 用小语种绕过英文安全训练 编码绕过 Base64、Unicode等编码 模板攻击 使用预设的越狱模板 漏洞评估 严重程度分级 Critical: 可导致现实世界危害（如制造武器指导） High: 可导致个人信息泄露或系统性偏见 Medium: 可导致不当内容生成但危害有限 Low: 边界行为，不明确违反策略 可复现性 每个漏洞需记录： ...

为什么需要Agent能力测评？ 大模型的benchmark（MMLU、HumanEval等）测的是"知不知道"，但Agent需要的是"会不会做"。一个MMLU分数90的模型，在Agent任务中可能表现很差——因为Agent需要规划、决策、工具使用、错误恢复等综合能力。 测评框架设计 能力维度 我们将Agent能力分解为五个维度： 任务理解：准确理解复杂任务描述 规划分解：将复杂任务分解为可执行子任务 工具使用：正确调用工具并处理返回结果 错误恢复：执行失败时的诊断和调整能力 长期一致性：跨步骤保持目标一致性 评测基准 AgentBench 清华大学提出的Agent评测框架，覆盖多个场景： Web Shopping：在网上购物完成购买任务 Web Browsing：网页信息查找和操作 Card Game：策略游戏中的决策能力 AlfWorld：家庭场景的文本指令执行 ScienceWorld：科学实验模拟 GAIA General AI Assistants benchmark： 人工设计的真实场景任务 多步骤、多工具 分级难度（Level 1-3） 强调"真实世界"的复杂度 SWE-bench 软件工程Agent评测： 给定GitHub issue描述 Agent需要定位代码、修改、通过测试 评测标准：测试是否通过 目前最强Agent的通过率约30% WebArena Web交互Agent评测： 在模拟网站环境中完成任务 涉及多页面导航、表单填写、信息提取 测评模型+工具的组合能力 分维度测评方法 维度1：任务理解 测试方法：给Agent一个含歧义或多约束的任务，检测其理解准确度。 任务: "帮我订一张明天去上海的机票，要靠窗，预算2000以内" 评分标准: - 时间提取正确？(明天日期) - 目的地正确？(上海) - 座位偏好识别？(靠窗) - 预算约束识别？(2000) 评分方式：人工标注+LLM-as-Judge混合。 维度2：规划分解 测试方法：给定复杂任务，评估Agent的任务分解质量。 任务: "准备一份2025年AI行业分析报告" 评估Agent输出的计划: - 步骤完整性: 是否覆盖数据收集→分析→撰写→审核 - 步骤可行性: 每步是否可执行 - 步骤顺序: 依赖关系是否正确 - 颗粒度: 不过粗也不过细 量化指标： ...

评估：衡量模型能力的标尺 大模型评估是AI发展中最基础也最具挑战性的工作。没有好的评估方法，就无法判断技术进步，也无法做合理的模型选型。本文构建一个全面的大模型评估框架。 评估维度体系 能力维度 EVALUATION_DIMENSIONS = { "知识能力": { "MMLU-Pro": "多任务语言理解（学术知识）", "C-Eval": "中文综合能力", "BBH": "BIG-Bench Hard（推理）", "TruthfulQA": "真实性评估" }, "推理能力": { "GSM8K": "小学数学推理", "MATH": "高等数学推理", "GPQA": "研究生水平问答", "ARC": "科学推理" }, "代码能力": { "HumanEval": "Python代码生成", "MBPP": "基础编程", "SWE-bench": "软件工程任务", "LiveCodeBench": "实时编程竞赛" }, "语言能力": { "MT-Bench": "多轮对话", "AlpacaEval": "指令跟随", "IFEval": "指令执行评估" }, "安全对齐": { "AdvBench": "对抗性提示", "HarmBench": "有害行为测试", "BBQ": "偏见评估" } } 基准测试 标准化测试流程 class BenchmarkRunner: def __init__(self, model, config): self.model = model self.config = config def run_all(self): results = {} for bench_name, bench_class in BENCHMARKS.items(): results[bench_name] = self._run_benchmark(bench_name, bench_class) return results def _run_benchmark(self, name, bench_class): benchmark = bench_class() # 多次运行取平均（降低随机性） scores = [] for run in range(self.config.get("n_runs", 1)): score = self._single_run(benchmark) scores.append(score) return { "benchmark": name, "scores": scores, "mean": np.mean(scores), "std": np.std(scores), "details": self._collect_details(benchmark) } def _single_run(self, benchmark): correct = 0 for question in benchmark.questions: response = self.model.generate( question.prompt, temperature=0.0, # 贪婪解码，确保可复现 max_tokens=question.max_tokens ) if benchmark.check_answer(response, question.answer): correct += 1 return correct / len(benchmark.questions) 评估中的常见陷阱 class EvaluationPitfalls: pitfalls = { "数据污染": { "description": "测试集出现在训练数据中", "detection": "检查测试问题是否在训练数据中出现", "mitigation": "使用动态更新的测试集，如LiveCodeBench" }, "格式敏感性": { "description": "模型答案正确但格式不匹配", "detection": "人工检查错误样本", "mitigation": "使用灵活的答案匹配（正则/语义匹配）" }, "位置偏差": { "description": "多选题中模型偏好某些位置", "detection": "打乱选项顺序重新测试", "mitigation": "多次测试取平均" }, "提示敏感性": { "description": "不同prompt模板导致分数差异大", "detection": "用多种prompt模板测试", "mitigation": "报告多个模板的平均分" } } 人类偏好评估 LLM-as-Judge class LLMJudge: def __init__(self, judge_model="gpt-4o"): self.judge = judge_model def evaluate(self, question, response_a, response_b): """用强模型评估两个回答的优劣""" prompt = f""" 请评估以下两个回答的质量。 问题：{question} 回答A：{response_a} 回答B：{response_b} 评估维度（1-10分）： 1. 准确性：信息是否正确 2. 完整性：是否充分回答了问题 3. 清晰度：表达是否清晰易懂 4. 有用性：对提问者是否有帮助 输出JSON： {{ "A": {{"accuracy": X, "completeness": X, "clarity": X, "helpfulness": X}}, "B": {{"accuracy": X, "completeness": X, "clarity": X, "helpfulness": X}}, "winner": "A" | "B" | "tie", "reasoning": "..." }} """ return self.judge.generate(prompt) def evaluate_with_rubric(self, question, response, rubric): """基于评分标准的评估""" prompt = f""" 按以下评分标准评估回答： 问题：{question} 回答：{response} 评分标准： {rubric} 对每个标准给出1-5分和具体理由。 """ return self.judge.generate(prompt) 人类评估 class HumanEvaluation: def __init__(self): self.evaluators = [] self.tasks = [] def setup_eval(self, questions, responses, criteria): """设置人类评估任务""" for q, responses_pair in zip(questions, responses): self.tasks.append({ "question": q, "response_a": responses_pair[0], "response_b": responses_pair[1], "criteria": criteria }) def collect_ratings(self): """收集人类评估结果""" results = [] for task in self.tasks: # 呈现给评估者 rating = self._present_to_evaluator(task) results.append(rating) # 计算一致性 agreement = self._compute_inter_annotator_agreement(results) return { "results": results, "inter_annotator_agreement": agreement, "elo_ratings": self._compute_elo(results) } def _compute_inter_annotator_agreement(self, results): """计算评估者间一致性""" from sklearn.metrics import cohen_kappa_score # 如果一致性<0.6，说明评估标准需要改进 return cohen_kappa_score(results[0], results[1]) Elo评分系统 class EloRatingSystem: def __init__(self, k=32): self.k = k self.ratings = {} # model_name -> elo rating def update(self, model_a, model_b, result): """根据对战结果更新Elo分""" ra = self.ratings.get(model_a, 1200) rb = self.ratings.get(model_b, 1200) # 预期胜率 ea = 1 / (1 + 10 ** ((rb - ra) / 400)) eb = 1 - ea # 实际结果 if result == "A": sa, sb = 1, 0 elif result == "B": sa, sb = 0, 1 else: # tie sa, sb = 0.5, 0.5 # 更新分数 self.ratings[model_a] = ra + self.k * (sa - ea) self.ratings[model_b] = rb + self.k * (sb - eb) def get_rankings(self): return sorted(self.ratings.items(), key=lambda x: x[1], reverse=True) 专项评估 代码评估 class CodeEvaluation: def evaluate(self, model, problems): """代码生成评估""" results = { "pass@1": 0, "pass@10": 0, "pass@100": 0, "syntax_error_rate": 0, "runtime_error_rate": 0 } for problem in problems: # 生成多个解决方案 solutions = [model.generate(problem.prompt) for _ in range(100)] # 逐个测试 passed = 0 for solution in solutions: result = self._run_tests(solution, problem.test_cases) if result["passed"]: passed += 1 elif result["error_type"] == "syntax": results["syntax_error_rate"] += 1 elif result["error_type"] == "runtime": results["runtime_error_rate"] += 1 # pass@k results["pass@1"] += passed > 0 results["pass@10"] += passed > 10 results["pass@100"] += passed > 0 # 归一化 n = len(problems) for k in ["pass@1", "pass@10", "pass@100"]: results[k] /= n for k in ["syntax_error_rate", "runtime_error_rate"]: results[k] /= (n * 100) return results 安全评估 class SafetyEvaluation: def __init__(self): self.attack_prompts = self._load_attack_prompts() def evaluate(self, model): """安全评估""" results = { "jailbreak_success": 0, "harmful_content_generated": 0, "bias_detected": 0, "pii_leaked": 0 } # 越狱测试 for attack in self.attack_prompts["jailbreak"]: response = model.generate(attack["prompt"]) if self._is_jailbreak_successful(response, attack["target"]): results["jailbreak_success"] += 1 # 有害内容测试 for prompt in self.attack_prompts["harmful"]: response = model.generate(prompt) if self._is_harmful(response): results["harmful_content_generated"] += 1 # 偏见测试 for prompt in self.attack_prompts["bias"]: response = model.generate(prompt) bias_score = self._measure_bias(response) if bias_score > 0.5: results["bias_detected"] += 1 total = len(self.attack_prompts["jailbreak"]) for k in results: results[k] = {"count": results[k], "rate": results[k] / total} return results 评估报告生成 class EvaluationReportGenerator: def generate(self, model_name, results): """生成综合评估报告""" return f""" # {model_name} 评估报告 ## 综合评分 - 知识能力: {results['knowledge']['mean']:.1f}/100 - 推理能力: {results['reasoning']['mean']:.1f}/100 - 代码能力: {results['coding']['pass@1']*100:.1f}% - 对话能力: {results['dialogue']['elo']:.0f} Elo - 安全性: {results['safety']['safe_rate']*100:.1f}% ## 详细分析 ### 优势 {self._format_strengths(results)} ### 弱项 {self._format_weaknesses(results)} ### 与其他模型对比 {self._format_comparison(model_name, results)} ### 数据污染检查 {self._contamination_report(results)} ## 结论 {self._conclusion(results)} """ 结语 大模型评估是一个持续演进的领域。随着模型能力提升，旧的基准被攻克，新的更难的基准被提出。没有单一的评估方法能全面衡量模型能力——知识、推理、代码、安全、对齐需要不同的评估方法。最重要的是：评估的目的不是排名，而是理解模型的能力边界，指导合理使用。 ...

为什么Agent评测比模型评测难 评估一个大语言模型可以给一道选择题，评估一个Agent需要给它一个完整任务并观察其行为序列。Agent评测面临三个独特挑战：任务开放性、行为多路径、环境依赖性。 评测维度框架 五维评估模型 我们提出五维Agent评估框架： 任务完成率：能否完成给定任务 路径效率：完成任务用了多少步 工具使用质量：工具调用是否恰当、参数是否正确 错误恢复能力：遇到错误能否自主恢复 自主决策能力：在模糊指令下的判断质量 任务完成率评测 任务分层设计 L1 - 简单任务（1-3步） 例：查询今天的天气 L2 - 中等任务（4-8步） 例：查找北京到上海的机票并比较三个航班的价格 L3 - 复杂任务（9-20步） 例：分析竞品网站并生成包含定价和功能对比的报告 L4 - 开放任务（20+步，目标模糊） 例：帮我规划一个提升产品用户体验的方案 评测协议 class AgentEvaluator: def __init__(self, tasks, criteria): self.tasks = tasks # 分层任务集 self.criteria = criteria # 评分标准 def evaluate(self, agent, n_runs=3): results = {} for level, tasks in self.tasks.items(): level_results = [] for task in tasks: run_results = [] for run in range(n_runs): # 执行任务 trajectory = agent.execute(task) # 评估 score = self._score_task(task, trajectory) run_results.append(score) level_results.append({ "task": task, "scores": run_results, "mean": np.mean(run_results), "std": np.std(run_results) }) results[level] = level_results return results def _score_task(self, task, trajectory): # 任务是否完成 completion = self._check_completion(task, trajectory) # 过程是否正确 process = self._check_process(task, trajectory) # 输出质量 quality = self._check_quality(task, trajectory) return 0.5 * completion + 0.3 * process + 0.2 * quality 通过率基线 基于主流Agent的测试基线（2026年）： ...

代码智能体的三代演进 代码生成工具已经从简单的行级补全发展到能独立完成复杂任务的智能体。2026年的代码智能体市场形成了清晰的三个层次：行级补全（Copilot）、IDE集成助手（Cursor）、自主编程Agent（Devin）。 测评维度设计 为了客观评估各工具的实际能力，我们设计了五个维度的测评框架： 代码补全准确率：在真实项目中的补全接受率和修改率 复杂任务完成率：从需求描述到可运行代码的端到端成功率 上下文理解深度：对项目结构、依赖关系、代码规范的理解程度 多文件协同能力：跨文件修改、重构、测试的能力 调试与修复能力：发现bug、分析根因、生成修复方案的能力 GitHub Copilot：行级补全的标杆 2026年的Copilot已经发展到基于GPT-4o的版本，支持多行补全和Chat功能。 优势 IDE集成最广：支持几乎所有主流IDE 补全延迟低：平均200ms内给出补全建议 企业版安全：代码不用于训练，符合企业合规要求 局限 上下文窗口有限，难以理解大型项目结构 主要聚焦于函数级别代码，缺乏项目级规划能力 多文件修改需要手动逐文件操作 实测表现 在100个Python函数补全测试中： 直接接受率：68% 接受后小幅修改率：22% 拒绝重写率：10% 对于单行补全场景，Copilot仍然是效率最高的工具。 Cursor：IDE原生集成的AI助手 Cursor的优势在于它从底层重新设计了IDE，使AI能力深度融入开发流程。 核心能力 Composer模式：可以同时修改多个文件，生成完整功能模块： 用户指令："实现一个用户注册API，包含邮箱验证和密码强度检查" Cursor操作： 1. 创建 /api/auth/register.py - 注册路由 2. 修改 /models/user.py - 添加验证字段 3. 创建 /utils/password.py - 密码强度检查 4. 修改 /config.py - 添加邮箱服务配置 5. 创建测试文件 代码库问答：基于全项目代码库回答问题，定位相关代码准确率高。 Cursor Tab：预测下一步编辑位置和内容，比传统补全更智能。 实测评估 在10个中等复杂度的Web开发任务中： 端到端完成率：7/10（70%） 平均调试轮次：2.3轮 平均完成时间：8分钟（人工预估约45分钟） 局限 仅支持Cursor IDE，迁移成本高 大型项目（10万行+）的上下文管理仍有优化空间 对非主流语言和框架的支持不如主流技术栈 Devin：自主编程Agent Devin代表了代码智能体的终极形态：给定一个任务描述，自主完成从规划到实现到测试的全流程。 工作流程 1. 需求分析 → 分解为子任务列表 2. 环境搭建 → 创建项目结构、安装依赖 3. 代码实现 → 逐模块实现 4. 自主测试 → 运行测试、修复错误 5. 代码审查 → 自我审查并优化 6. 交付 → PR提交 实测任务 我们在SWE-bench上测试了Devin的实际表现： ...