Embedding 模型选型指南：bge vs e5 vs OpenAI vs Cohere

用户查询 → [Embedding 模型] → 查询向量
                              ↓
知识库文档 → [Embedding 模型] → 文档向量 → 向量数据库
                              ↓
                    向量相似度检索 → Top-K 结果
                              ↓
                    [LLM] → 生成回答

# RAG 测试配置
test_config = {
    "知识库": "1万篇混合中英文技术文档",
    "向量数据库": "Milvus 2.4",
    "检索策略": "dense + sparse 混合检索",
    "Top-K": 10,
    "重排序": "使用同系列 reranker",
    "LLM 后端": "GPT-5.5",
    "评测指标": ["召回率@10", "精确率@5", "MRR", "端到端答案准确率"]
}

# OpenAI 维度截断示例
import openai

# 完整 3072 维
response_full = openai.embeddings.create(
    model="text-embedding-3-large",
    input="大模型选型最佳实践",
    dimensions=3072  # 默认
)

# 截断到 1536 维（节省 50% 存储，精度损失约 2-3%）
response_half = openai.embeddings.create(
    model="text-embedding-3-large",
    input="大模型选型最佳实践",
    dimensions=1536
)

# 截断到 256 维（节省 92% 存储，精度损失约 8-10%）
response_small = openai.embeddings.create(
    model="text-embedding-3-large",
    input="大模型选型最佳实践",
    dimensions=256
)

# BGE-M3 多功能 Embedding 示例
from FlagEmbedding import BGEM3FlagModel

model = BGEM3FlagModel('BAAI/bge-m3', use_fp16=True)

# 同时生成 dense、sparse 和 multi-vector 表示
output = model.encode(
    ['大模型选型指南', 'Embedding 模型对比'],
    return_dense=True,
    return_sparse=True,
    return_colbert_vecs=True
)

# Dense 向量用于语义检索
dense_scores = model.dense_score(output['dense_vecs'], query_dense)

# Sparse 向量用于关键词匹配（类似 BM25）
sparse_scores = model.sparse_score(output['lexical_weights'], query_sparse)

# 混合检索：dense + sparse 融合
final_scores = 0.7 * dense_scores + 0.3 * sparse_scores

# E5-Mistral 指令示例
query = "query: 如何选择 Embedding 模型？"
document = "passage: 选择 Embedding 模型时需要考虑维度、速度和多语言能力..."

# 不同任务使用不同指令
instructions = {
    "检索": "Given a web search query, retrieve relevant passages",
    "聚类": "Identify the main category of the news article",
    "相似度": "Determine if two sentences are semantically equivalent"
}

你的 RAG 系统核心需求是？

├─ 中文为主 + 成本敏感
│   → BGE-M3（开源 + 中文最强 + 多功能）
│
├─ 追求最高检索质量 + 多语言
│   → GTE-Qwen2-7B（MTEB 最高 + 多语言强）
│
├─ 长文档检索（>8K tokens）
│   → E5-Mistral-7B / GTE-Qwen2-7B（32K 上下文）
│
├─ 快速上手 + 无需部署
│   → OpenAI text-embedding-3-large（API 即用）
│
├─ 企业级 + 商业支持
│   → Cohere embed-v4（企业 SLA）
│
└─ 混合检索需求（Dense + Sparse）
    → BGE-M3（唯一支持三合一）

# 方案 1: 中小企业 RAG（中文为主）
rag_config_small = {
    "embedding": "BGE-M3",
    "vector_db": "Milvus",
    "reranker": "bge-reranker-v2-m3",
    "llm": "Qwen3-72B / DeepSeek V4",
    "estimated_monthly_cost": "¥2,000-5,000"
}

# 方案 2: 大型企业 RAG（多语言 + 高质量）
rag_config_enterprise = {
    "embedding": "GTE-Qwen2-7B",
    "vector_db": "Milvus Cluster",
    "reranker": "bge-reranker-v2-gemma",
    "llm": "GPT-5.5 / Claude 4",
    "estimated_monthly_cost": "¥10,000-30,000"
}

# 方案 3: 极致性价比（API 模式）
rag_config_api = {
    "embedding": "OpenAI text-embedding-3-large (1536维截断)",
    "vector_db": "Pinecone / Zilliz Cloud",
    "reranker": "Cohere rerank-3",
    "llm": "GPT-5.5-mini / DeepSeek V4",
    "estimated_monthly_cost": "$200-800"
}