RAG与微调

LoRA：参数高效微调的工程选择 全参数微调一个7B模型需要至少60GB显存，而LoRA（Low-Rank Adaptation）只需不到20GB。这个差距让LoRA成为2026年最主流的微调方案——不是因为它效果最好，而是它在效果与成本之间提供了最优的性价比。 LoRA原理速览 LoRA的核心思想是冻结预训练权重，在旁边训练一个低秩矩阵： $$W_{new} = W_{pretrained} + \Delta W = W_{pretrained} + B \times A$$ 其中 $A \in \mathbb{R}^{r \times d}$，$B \in \mathbb{R}^{d \times r}$，秩 $r \ll d$。以7B模型为例，全参数微调需要更新70亿参数，而LoRA（r=8）只需更新约2000万参数，缩减了99.7%。 第一步：数据准备 数据格式标准化 推荐使用ShareGPT格式，兼容主流训练框架： { "conversations": [ {"from": "human", "value": "解释一下什么是联邦学习"}, {"from": "gpt", "value": "联邦学习是一种分布式机器学习技术..."} ] } 数据清洗管线 import json import re from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3-8B") def clean_and_filter(data_path, output_path, max_length=2048): """数据清洗与过滤管线""" cleaned = [] with open(data_path, 'r', encoding='utf-8') as f: raw_data = [json.loads(line) for line in f] for sample in raw_data: conversations = sample.get("conversations", []) if len(conversations) < 2: continue # 检查每轮对话质量 valid = True for turn in conversations: text = turn.get("value", "") # 过滤空回复 if len(text.strip()) < 10: valid = False break # 过滤过长回复 if len(tokenizer.encode(text)) > max_length: valid = False break # 过滤重复内容 if text.count("。") > 0 and text.count("。") / len(text) > 0.1: valid = False break if valid: cleaned.append(sample) with open(output_path, 'w', encoding='utf-8') as f: for sample in cleaned: f.write(json.dumps(sample, ensure_ascii=False) + '\n') print(f"原始数据: {len(raw_data)} → 清洗后: {len(cleaned)}") return cleaned 数据质量分布检查 在微调前务必检查数据分布，避免领域偏斜： ...

为什么单一检索不够？ 在RAG（检索增强生成）系统中，检索质量直接决定了生成质量。许多团队在初次搭建RAG时选择纯向量检索，但在生产环境中很快遇到瓶颈：精确匹配查询失败、专业术语召回率低、长尾知识覆盖率不足。 问题的根源在于：向量检索擅长语义匹配，但不擅长精确匹配；BM25擅长关键词匹配，但不理解语义。 两者各有盲区，而混合检索正是取长补短的解决方案。 三阶段混合检索架构 架构总览 用户查询 │ ├──→ BM25 检索（关键词召回） │ ↓ Top-K1 ├──→ 向量检索（语义召回） │ ↓ Top-K2 │ └──→ 融合排序（RRF/加权融合） ↓ Top-N 重排序模型（Cross-Encoder） ↓ Top-M 最终上下文 第一阶段：双路召回 BM25：关键词召回的基石 from rank_bm25 import BM25Okapi import jieba class BM25Retriever: def __init__(self, documents): self.documents = documents # 中文需要分词 self.tokenized_docs = [list(jieba.cut(doc)) for doc in documents] self.bm25 = BM25Okapi(self.tokenized_docs) def search(self, query, top_k=20): tokenized_query = list(jieba.cut(query)) scores = self.bm25.get_scores(tokenized_query) # 获取Top-K结果 top_indices = sorted(range(len(scores)), key=lambda i: scores[i], reverse=True)[:top_k] return [(idx, scores[idx]) for idx in top_indices] BM25的优势在于：对精确关键词查询、产品型号、代码片段标识符等场景的召回率远高于向量检索。 向量检索：语义召回的主力 from sentence_transformers import SentenceTransformer import numpy as np class VectorRetriever: def __init__(self, model_name="BAAI/bge-large-zh-v1.5"): self.model = SentenceTransformer(model_name) self.document_embeddings = None self.documents = None def index(self, documents): self.documents = documents self.document_embeddings = self.model.encode( documents, normalize_embeddings=True, batch_size=64, show_progress_bar=True ) def search(self, query, top_k=20): query_embedding = self.model.encode([query], normalize_embeddings=True) # 余弦相似度（已归一化，直接点积） scores = np.dot(self.document_embeddings, query_embedding.T).flatten() top_indices = sorted(range(len(scores)), key=lambda i: scores[i], reverse=True)[:top_k] return [(idx, scores[idx]) for idx in top_indices] 第二阶段：分数融合 双路召回后需要将结果融合。业界有两种主流策略： ...

数据决定上限 在LLM微调领域有一句共识：模型架构决定下限，数据质量决定上限。 一个精心调优的7B模型配合高质量数据，可以超越用粗糙数据训练的70B模型。这不是夸张——实践已经反复证明这一点。 但"高质量数据"不是一个静态标签，而是一条工程管线的输出。本文将完整拆解从原始数据到训练就绪数据的全流程。 数据管线全景图 原始数据源 │ ├──→ 格式标准化 ├──→ 基础清洗（去噪、截断、编码修复） ├──→ 去重（精确去重 + 语义去重） ├──→ 质量评估（规则 + 模型打分） ├──→ 安全过滤（有害内容、PII脱敏） ├──→ 分布均衡（领域采样） └──→ 最终数据集 一、格式标准化 生产环境的数据来源五花八门：爬虫页面、API导出、用户日志、合成数据。第一步是统一到标准格式。 import json from dataclasses import dataclass from typing import List @dataclass class TrainingSample: """标准化训练样本结构""" instruction: str # 用户指令 input: str = "" # 附加输入（可选） output: str = "" # 期望输出 metadata: dict = None # 来源、质量分数等元信息 def normalize_to_alpaca(raw_samples: List[dict]) -> List[dict]: """将各种格式统一为Alpaca格式""" normalized = [] for sample in raw_samples: # 处理ShareGPT格式 if "conversations" in sample: convs = sample["conversations"] instruction = convs[0]["value"] if len(convs) > 0 else "" output = convs[1]["value"] if len(convs) > 1 else "" normalized.append({"instruction": instruction, "output": output}) # 处理Alpaca格式 elif "instruction" in sample: normalized.append(sample) # 处理OpenAI格式 elif "messages" in sample: msgs = sample["messages"] instruction = msgs[0]["content"] if msgs[0]["role"] == "user" else "" output = next((m["content"] for m in msgs if m["role"] == "assistant"), "") normalized.append({"instruction": instruction, "output": output}) return normalized 二、基础清洗 文本去噪 import re class TextCleaner: def __init__(self): self.patterns = { # HTML标签 "html": re.compile(r'<[^>]+>'), # 连续空白 "whitespace": re.compile(r'\s{3,}'), # URL（可选保留） "url": re.compile(r'https?://\S+'), # 乱码字符 "garbage": re.compile(r'[\x00-\x08\x0b\x0c\x0e-\x1f\x7f-\x9f]'), # 重复标点（超过3个） "repeat_punct": re.compile(r'([！。，,.!?？]){4,}'), } def clean(self, text: str) -> str: text = self.patterns["garbage"].sub('', text) text = self.patterns["html"].sub('', text) text = self.patterns["whitespace"].sub('\n', text) text = self.patterns["repeat_punct"].sub(r'\1\1\1', text) return text.strip() def is_valid(self, text: str, min_len=10, max_len=4096) -> bool: """基础有效性检查""" if not text or len(text) < min_len or len(text) > max_len: return False # 数字与字母占比过高（可能是日志/代码误入） alpha_ratio = sum(c.isalpha() for c in text) / len(text) if alpha_ratio < 0.3: return False return True 编码修复 def fix_encoding(text: str) -> str: """修复常见的编码问题""" # 修复UTF-8被误解码为Latin-1的情况 try: return text.encode('latin-1').decode('utf-8') except (UnicodeDecodeError, UnicodeEncodeError): pass return text 三、去重：比你想的更重要 数据重复是微调的隐形杀手。重复数据会导致模型过拟合特定模式，降低泛化能力。去重分为两个层次： ...

Embedding：向量检索的基础 在RAG系统中，Embedding模型的质量直接决定了检索质量的上限。一个好的Embedding模型能让语义相关的文档在向量空间中靠近，不相关的远离。选错了Embedding模型，后面再多优化也白费。 主流Embedding模型 通用模型 BGE系列（智源） bge-large-zh-v1.5：中文最强之一 bge-m3：多语言、多功能（稠密+稀疏+多向量） 维度：768/1024 优势：中文效果好、支持指令微调 E5系列（微软） multilingual-e5-large：多语言 E5-large-v2：英文 维度：1024 优势：多语言一致性好 GTE系列（阿里） gte-large-zh：中文优化 gte-multilingual：多语言 维度：1024 优势：长文本效果好 OpenAI text-embedding-3-large 维度：3072（可降维） 优势：API调用方便 劣势：中文效果不如国产模型 开源vs商用对比 模型 类型 中文MTEB 速度 部署 bge-m3 开源 66.3 快 自部署 gte-large-zh 开源 64.1 中 自部署 text-embedding-3 API 62.5 快 API jina-embeddings-v3 开源 63.8 中 自部署 模型选型维度 1. 语言支持 纯中文场景：bge-large-zh、gte-large-zh 中英混合：bge-m3、multilingual-e5 多语言：bge-m3、E5-multilingual 2. 向量维度 维度越高，表达能力越强，但存储和检索成本也越高： 维度 1M文档存储 检索延迟 表达能力 384 1.5GB 低 基准 768 3GB 中 好 1024 4GB 中 很好 3072 12GB 高 最好 实践建议：768维是性价比最高的选择。 ...

蒸馏的本质 知识蒸馏（Knowledge Distillation）的核心思想：用一个强大但昂贵的"教师模型"指导训练一个小而快的"学生模型"，让小模型在特定任务上接近大模型的表现。 这不是简单的模仿——而是一种知识迁移技术。 蒸馏的三层含义 1. 响应蒸馏（Response Distillation） 最直接的方式：让学生模型学习教师模型的输出分布。 传统方法（分类任务）： 教师模型: soft_targets = softmax(logits_T / T) 学生模型: soft_pred = softmax(logits_S / T) 蒸馏损失: KL(soft_targets || soft_pred) * T² 温度参数T软化概率分布，让学生能学到"次优答案也有一定概率"的暗知识。 大模型时代： 教师(GPT-4): prompt → 优质回答 学生(小模型): prompt → 学习生成同样的回答 SFT训练: loss = CrossEntropy(student_output, teacher_answer) 2. 特征蒸馏（Feature Distillation） 不只学输出，还学中间表示： 教师中间层特征: h_T = Teacher.layer_k(input) 学生中间层特征: h_S = Student.layer_j(input) 蒸馏损失: MSE(project(h_S), h_T) + α * CE(output, label) 需要设计投影层（projection layer），因为教师和学生的隐藏维度可能不同。 对于Transformer模型，可以蒸馏： 注意力权重分布 隐藏状态向量 前馈网络中间表示 3. Agent蒸馏（Agent Distillation） 2026年的新趋势——不只是蒸馏静态回答，而是蒸馏Agent行为： ...

微调方法全景 大模型微调主要有三种技术路线，各有适用场景： 全参微调（Full Fine-tuning）：更新所有参数，效果上限最高，但成本最高 LoRA：冻结主干参数，仅训练低秩适配矩阵，性价比极高 QLoRA：在LoRA基础上对基座模型4bit量化，进一步降低显存需求 LoRA技术详解 原理 LoRA（Low-Rank Adaptation）的核心思想是：模型适配过程中的参数变化具有低秩特性。具体做法： 将原始权重矩阵W∈R^(d×d)的更新分解为两个小矩阵的乘积： W' = W + ΔW = W + B × A 其中A∈R^(r×d)，B∈R^(d×r)，r远小于d（通常取8-64）。 参数量从d²降低到2rd，以r=16、d=4096为例，参数量从16.7M降到131K，缩减了127倍。 关键超参数 rank (r)：秩大小。r越大表达能力越强但训练越慢。推荐8-64起步 alpha：缩放系数，实际缩放为α/r。推荐设为r的2倍 target_modules：应用LoRA的层。至少q_proj和v_proj，推荐all-linear 适用场景 风格定制（让模型用特定语气说话） 领域适配（法律、医疗等垂直领域） 任务适配（将通用模型适配到特定任务格式） QLoRA：极致显存优化 QLoRA在LoRA基础上增加了两个优化： 4-bit NormalFloat量化 将基座模型权重量化为4-bit NF4数据类型。NF4是一种正态分布感知的量化方案，比均匀量化精度更高： 原始: W ∈ FP16 (每参数2字节) 量化: W → NF4 (每参数0.5字节) 训练: 仅LoRA参数为FP32 双重量化 对LoRA的适配矩阵本身也进行量化，进一步压缩梯度检查点的显存占用。 页面优化器 将优化器状态在CPU/GPU之间分页，避免显存峰值溢出。 效果对比 方法 7B模型显存 70B模型显存 效果损失 全参 120GB+ 1200GB+ 0% LoRA 20GB 160GB <1% QLoRA 6GB 48GB 1-2% QLoRA让单张消费级显卡（如RTX 3090, 24GB）就能微调7B模型，极大降低了定制化门槛。 ...

朴素RAG的局限性 标准RAG流程很简单：文档分块→向量化→检索top-k→拼接到prompt→生成回答。但在实际场景中，朴素RAG面临几个核心问题： 检索不准：用户查询与文档语义空间不匹配 排序不佳：向量相似度高≠回答有用 上下文冗余：top-k中可能包含大量无关内容 无法自纠错：检索不到就硬编答案 检索层优化 混合检索 纯向量检索擅长语义匹配但弱于精确关键词。BM25等稀疏检索正好互补。混合检索的实践方案： 向量检索（Dense）：召回语义相关段落 关键词检索（Sparse/BM25）：召回精确匹配段落 融合排序：RRF（Reciprocal Rank Fusion）算法合并两路结果 def rrf_fusion(dense_results, sparse_results, k=60): scores = {} for rank, doc in enumerate(dense_results): scores[doc.id] = scores.get(doc.id, 0) + 1/(k + rank) for rank, doc in enumerate(sparse_results): scores[doc.id] = scores.get(doc.id, 0) + 1/(k + rank) return sorted(scores.items(), key=lambda x: -x[1]) 查询改写 用户的原始query往往不是最佳检索query。通过LLM对查询进行改写： 查询扩展：生成多个语义变体query，分别检索后合并 HyDE：先让LLM生成一个假设性回答，用该回答的embedding去检索（对长尾问题效果显著） 子问题分解：复杂问题拆成多个子问题分别检索 重排序（Reranking） 向量检索的召回质量参差不齐。在召回后加一个cross-encoder重排层： 向量检索召回top-50（宽召回） Cross-encoder（如bge-reranker-v2）对每对(query, doc)打分 按分数取top-5（精排序） Cross-encoder比bi-encoder准确率高20-30%，但速度慢，所以做两阶段检索。 生成层优化 上下文压缩 检索回来的文档可能很长，需要压缩到LLM能高效处理的篇幅： 提取式：用小模型抽取关键句子 摘要式：LLM对每个文档生成精简摘要 LLMLingua：基于困惑度删除低信息token，可压缩到原长的1/10 引用标注 高质量RAG需要可溯源。实现方式： 在prompt中要求模型标注引用段落编号 后处理时验证引用的段落确实支持该陈述 不支持的引用标记为"未验证" 自适应RAG：让模型决定怎么检索 Self-RAG Self-RAG让模型学会自主决定： 是否需要检索（通过特殊token [Retrieve]/[No Retrieve]） 检索到的段落是否相关（[Relevant]/[Irrelevant]） 回答是否被段落支持（[Supported]/[Partially Supported]） 这种方式将检索决策内化为模型能力，需要通过强化学习训练。 CRAG（Corrective RAG） CRAG在检索后增加一个"检索评估器"： 评估检索结果质量：Correct / Ambiguous / Incorrect 如果Incorrect，触发web搜索补充 如果Ambiguous，将检索结果与web结果合并 对最终结果重排序后生成 Adaptive-RAG 根据查询复杂度自适应选择策略： 简单查询→单次检索 复杂查询→多跳检索+推理 分类器判断查询类型，路由到对应处理流水线 工程实践要点 评估体系 RAG系统必须有量化评估。推荐使用RAGAS框架，四个核心指标： ...

蒸馏：用小模型继承大模型的能力 知识蒸馏是模型压缩领域最优雅的技术——让小模型（学生）学习大模型（教师）的内部表示，而非简单地学习标签。一个好的蒸馏方案可以让7B模型逼近70B模型的效果。 Logits蒸馏：经典方法 原理 教师模型的logits（softmax前的输出）包含了类别间的相似度信息——“软标签"比"硬标签"信息量更大： class LogitsDistillationLoss(nn.Module): def __init__(self, temperature=2.0, alpha=0.5): self.temperature = temperature self.alpha = alpha # 蒸馏loss与CE loss的权重比 def forward(self, student_logits, teacher_logits, labels): # 蒸馏损失：KL散度 soft_teacher = F.log_softmax( teacher_logits / self.temperature, dim=-1 ) soft_student = F.log_softmax( student_logits / self.temperature, dim=-1 ) distill_loss = F.kl_div( soft_student, soft_teacher.exp(), reduction="batchmean" ) * (self.temperature ** 2) # 标准交叉熵损失 ce_loss = F.cross_entropy(student_logits, labels) return self.alpha * distill_loss + (1 - self.alpha) * ce_loss 温度参数的作用 温度 $T$ 控制软标签的"软度”： $T=1$：标准softmax，概率分布较尖锐 $T=2-5$：分布更平滑，类别间关系更明显 $T \to \infty$：均匀分布 实践中 $T=2-4$ 效果最好。温度的平方项补偿了梯度缩放——高温softmax的梯度会被 $1/T^2$ 缩小。 在线蒸馏vs离线蒸馏 离线蒸馏：先训练好教师模型，再蒸馏学生模型。简单稳定但教师的错误会被继承。 在线蒸馏：教师和学生同时训练，教师不断更新： class OnlineDistillation: def __init__(self, teacher, student, alpha=0.5): self.teacher = teacher self.student = student self.alpha = alpha def train_step(self, batch): # 教师前向（不更新梯度） with torch.no_grad(): teacher_logits = self.teacher(batch) # 学生前向 student_logits = self.student(batch) # 蒸馏损失 distill_loss = self._distill_loss(student_logits, teacher_logits) ce_loss = F.cross_entropy(student_logits, batch["labels"]) loss = self.alpha * distill_loss + (1 - self.alpha) * ce_loss loss.backward() 特征蒸馏：学习中间表示 原理 Logits蒸馏只利用了最终输出，特征蒸馏还利用了中间层的表示： ...

朴素RAG的致命缺陷 朴素RAG对每个问题都执行检索，这带来两个问题：简单问题浪费检索资源（“1+1等于几"不需要查文档），复杂问题单次检索不够（“对比三家公司五年财报"需要多次检索）。自适应RAG的核心思想是让模型自己决定：是否需要检索、检索几次、检索什么。 Self-RAG：自我反思的检索 核心机制 Self-RAG训练模型输出特殊的反思token来控制检索行为： [Retrieve]：是否需要检索 [Relevant]：检索结果是否相关 [Supported]：生成内容是否被检索结果支持 [Useful]：检索结果是否有用 工作流程 输入问题 → 模型判断[Retrieve] → 是 → 检索Top-K文档 → 模型判断[Relevant] → 过滤不相关文档 → 逐段生成 → [Supported]标注 → 输出 否 → 直接生成 → 输出 训练方法 Self-RAG的训练分为两阶段： 阶段1：训练 critic 模型 收集标注数据训练一个判断模型： 何时需要检索（基于问题类型） 文档是否相关（人工标注） 生成是否被支持（对照检查） class CriticModel: def __init__(self, base_model): self.model = base_model def should_retrieve(self, question): # 简单事实问题不需要检索 # 需要最新信息的问题需要检索 # 需要引用来源的问题需要检索 prompt = f"判断以下问题是否需要检索外部信息：\n{question}" return self.model.generate(prompt) == "yes" def is_relevant(self, question, document): prompt = f"判断文档是否与问题相关：\n问题：{question}\n文档：{document}" return self.model.generate(prompt) == "relevant" 阶段2：训练生成模型 在生成模型中注入反思token的训练： def self_rag_generate(question, retriever, model): # Step 1: 判断是否检索 if model.should_retrieve(question): docs = retriever.search(question, top_k=5) # 过滤不相关文档 relevant_docs = [d for d in docs if model.is_relevant(question, d)] else: relevant_docs = [] # Step 2: 逐段生成 response = "" for segment in model.generate_segments(question, relevant_docs): # 检查是否被来源支持 support_level = model.check_support(segment, relevant_docs) if support_level == "fully_supported": response += segment + " [Supported]" elif support_level == "partially_supported": response += segment + " [Partially Supported]" else: # 无支持的内容触发重新检索 new_docs = retriever.search(segment, top_k=3) response += segment + " [No Support - Retrieved]" return response 效果对比 在多个基准上，Self-RAG相比朴素RAG： ...

LoRA：用0.1%的参数达到全量微调效果 LoRA（Low-Rank Adaptation）已成为大模型微调的事实标准。其核心思想简单而优雅：冻结预训练权重，仅训练注入的低秩矩阵。 数学原理 对于预训练权重矩阵 $W_0 \in \mathbb{R}^{d \times k}$，LoRA将权重更新表示为两个小矩阵的乘积： $$W = W_0 + \Delta W = W_0 + BA$$ 其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$。 初始化时，$A$用高斯随机初始化，$B$用零矩阵初始化，确保训练开始时 $\Delta W = 0$，不破坏预训练效果。 参数缩减比率为 $\frac{r(d+k)}{dk}$。以7B模型为例，当 $r=8$ 时，可训练参数仅约10M，占全量参数的0.14%。 关键超参数调优 秩（Rank）的选择 秩 $r$ 是LoRA最重要的超参数。经验法则： r=4~8：简单任务（文本分类、风格迁移） r=16~32：中等任务（指令跟随、领域适配） r=64+：复杂任务（代码生成、数学推理） 但更大的秩并不意味着更好的效果。研究表明，当秩超过某个阈值后，性能增益趋缓甚至下降，因为低秩约束本身具有正则化作用。 目标模块选择 LoRA可以注入到不同层：注意力层的Q/K/V/O矩阵、FFN层的up/down矩阵。实践建议： # 推荐配置：同时微调注意力和FFN target_modules = [ "q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj" ] 仅微调注意力层往往不够，FFN层包含大量领域知识，加入FFN层通常能提升3-5个点。 学习率与调度器 LoRA的学习率通常比全量微调高10倍： 全量微调：1e-5 ~ 5e-5 LoRA：1e-4 ~ 5e-4 QLoRA：1e-4 ~ 3e-4 调度器推荐cosine decay配合warmup，warmup步数占总步数的3-5%。 ...