视觉语言模型选择指南：从 LLaVA 到 GPT-4V

图像 → 视觉编码器(ViT) ──┐
                          ├── 对比学习/交叉注意力 → 相似度/描述
文本 → 文本编码器(BERT) ──┘

图像 → ViT → 投影层(MLP/Q-Former) → 视觉Token → 拼接到文本Token → LLM → 生成

图像 → 自适应分辨率编码 → 视觉Token(动态数量) → 与文本统一处理 → LLM → 生成
                                                          ↑
                                              训练时即融合多模态

class LLaVA(nn.Module):
    def __init__(self, llm, vision_tower, mm_projector):
        self.llm = llm                    # 任意 LLM (Llama/Qwen/Mistral)
        self.vision_tower = vision_tower  # 通常是 CLIP-ViT-L/14
        self.mm_projector = mm_projector  # MLP 投影层

    def forward(self, images, input_ids):
        # 1. 视觉编码
        image_features = self.vision_tower(images)  # [batch, n_patches, 1024]
        # 2. 投影到 LLM 空间
        image_embeds = self.mm_projector(image_features)  # [batch, n_patches, 4096]
        # 3. 替换 <image> 占位符
        text_embeds = self.llm.embed_tokens(input_ids)
        # 找到 <image> token 位置，替换为 image_embeds
        merge_indices = (input_ids == IMAGE_TOKEN_ID).nonzero()
        final_embeds = scatter_replace(text_embeds, image_embeds, merge_indices)
        # 4. LLM 处理
        return self.llm(inputs_embeds=final_embeds)

# 传统 LLaVA：固定 336×336，高分辨率信息丢失
# Qwen2.5-VL：动态调整 patch 数量

def dynamic_resolution(image, max_tokens=16384):
    h, w = image.size
    # 根据图像尺寸动态计算 patch 数
    # 保持长宽比，限制总 token 数
    ratio = min(max_tokens / (h * w / (28*28)), 1.0)
    new_h = int(h * ratio ** 0.5) // 28 * 28
    new_w = int(w * ratio ** 0.5) // 28 * 28
    return image.resize((new_w, new_h))

# 一张 4K 图片可能产生 ~2000 个视觉 token
# 一张小图标可能只产生 ~50 个 token
# 按需分配，避免浪费

def pixel_shuffle(image_features, scale=0.5):
    # 将 4 个相邻 patch 合并为 1 个
    # [batch, h, w, dim] → [batch, h/2, w/2, dim*4]
    # 然后用线性层降维回 dim
    # 效果：视觉 token 减少 75%
    pass

from openai import OpenAI
import base64

client = OpenAI(base_url="http://localhost:8000/v1", api_key="none")

def analyze_document(image_path, task="提取所有文字内容"):
    with open(image_path, "rb") as f:
        img_b64 = base64.b64encode(f.read()).decode()

    response = client.chat.completions.create(
        model="Qwen/Qwen2.5-VL-72B-Instruct",
        messages=[{
            "role": "user",
            "content": [
                {"type": "image_url", "image_url": {
                    "url": f"data:image/png;base64,{img_b64}"
                }},
                {"type": "text", "text": f"""请执行以下任务：{task}

要求：
1. 保持原文结构
2. 表格用 Markdown 格式输出
3. 标注不确定的内容
"""}
            ]
        }],
        temperature=0.1,
        max_tokens=4096
    )
    return response.choices[0].message.content

# 复杂图表分析
chart_result = analyze_document(
    "revenue_chart.png",
    "分析这张营收图表，提取各季度数据，计算增长率，预测下季度趋势"
)

需要视频理解？
├── 是 → 预算充足？
│        ├── 是 → Gemini 2.5 Pro API（最强视频）
│        └── 否 → Qwen2.5-VL-72B（开源最强视频）
└── 否 → 主要语言？
         ├── 中文为主 → Qwen2.5-VL-72B 或 GLM-4V-Plus
         ├── 英文为主 → GPT-4o API 或 InternVL2.5-78B
         └── 多语言 → Gemini 2.5 或 GPT-4o
              │
              └── 需要本地部署？
                   ├── 消费级 GPU → Gemma-3-4B 或 Qwen2.5-VL-7B
                   ├── 工作站 → Qwen2.5-VL-72B (INT4)
                   └── 服务器 → InternVL2.5-78B