LLM评估框架2026：如何科学衡量模型能力

class LLMEvaluationFramework:
    def __init__(self):
        self.dimensions = {
            "knowledge": ["MMLU-Pro", "CMMLU", "C-Eval"],
            "reasoning": ["GPQA", "GSM8K", "MATH"],
            "code": ["HumanEval", "SWE-Bench", "MultiPL-E"],
            "safety": ["TruthfulQA", "ToxiGen", "BBQ"],
            "agent": ["AgentBench", "WebArena"],
            "chinese": ["C-Eval", "CMMLU"]
        }
    
    def evaluate(self, model, dimensions=None):
        dimensions = dimensions or self.dimensions.keys()
        results = {}
        
        for dim in dimensions:
            benchmarks = self.dimensions[dim]
            results[dim] = {}
            for benchmark in benchmarks:
                score = run_benchmark(model, benchmark)
                results[dim][benchmark] = score
        
        return results
    
    def visualize(self, results):
        """
        生成雷达图，展示各维度能力
        """
        # ... 可视化代码

第1层：通用能力评估
├── 知识理解（MMLU-Pro）
├── 推理能力（GPQA, GSM8K）
├── 代码能力（HumanEval）
└── 安全性（TruthfulQA）

第2层：领域能力评估
├── 法律（LegalBench）
├── 医疗（MedQA）
├── 金融（FinBench）
└── 教育（EduBench）

第3层：任务能力评估
├── RAG效果评估
├── 对话质量评估
├── 摘要质量评估
└── 翻译质量评估

第4层：实际应用评估
├── 用户满意度
├── 任务完成率
├── 响应延迟
└── 成本效率

def comparative_evaluation(models, benchmarks):
    """
    对比评估多个模型
    """
    results = {}
    for model in models:
        results[model] = {}
        for benchmark in benchmarks:
            results[model][benchmark] = run_benchmark(model, benchmark)
    
    # 生成对比报告
    report = generate_comparison_report(results)
    return report

# 不好的报告
"模型A在GSM8K上得分85%"

# 好的报告
"模型A在GSM8K上得分85%±2.3%（5次运行）"

def llm_judge evaluation(output, reference, criteria):
    """
    用LLM作为评估员
    """
    judge_prompt = f"""
    请作为公正的评估员，对AI输出打分。
    
    任务：{task}
    参考答案：{reference}
    待评估输出：{output}
    
    评估标准：
    {criteria}
    
    请打分（1-5分），并说明理由。
    输出JSON：
    {{
      "score": ...,
      "reason": "..."
    }}
    """
    
    return call_gpt4(judge_prompt)

def run_evaluation(model, eval_dataset):
    results = []
    for sample in eval_dataset:
        output = model.generate(sample["input"])
        
        # 自动评估
        auto_score = auto_evaluate(output, sample["expected"])
        
        # LLM评估
        llm_score = llm_judge(output, sample["expected"], sample["criteria"])
        
        results.append({
            "input": sample["input"],
            "output": output,
            "expected": sample["expected"],
            "auto_score": auto_score,
            "llm_score": llm_score
        })
    
    return results