多模态大模型：前沿算法与实战应用

# 伪代码：多模态编码流程
class MultiModalEncoder:
    def encode_text(self, text):
        return self.text_encoder(text)  # [seq_len, d_model]
    
    def encode_image(self, image):
        patches = self.patchify(image)   # 切分为16x16的块
        return self.vit_encoder(patches)  # [num_patches, d_model]
    
    def encode_audio(self, audio):
        spectrogram = self.mel_spectrogram(audio)
        return self.audio_encoder(spectrogram)  # [time_steps, d_model]

同一张图片和它的文字描述 → 在语义空间中距离拉近
不同图片和文字的组合 → 在语义空间中距离推远

class CrossAttention(nn.Module):
    def __init__(self, d_model, n_heads):
        super().__init__()
        self.q_proj = nn.Linear(d_model, d_model)
        self.k_proj = nn.Linear(d_model, d_model)
        self.v_proj = nn.Linear(d_model, d_model)
        self.attention = nn.MultiheadAttention(d_model, n_heads)
    
    def forward(self, text_features, image_features):
        # 文本作为Query，图像作为Key和Value
        output, weights = self.attention(
            query=text_features, 
            key=image_features, 
            value=image_features
        )
        return output, weights

你的场景是什么？
│
├─ 需要中文原生支持？
│   ├─ 是 → Qwen-VL / DeepSeek-VL / CogVLM2
│   └─ 否 → LLaVA-NeXT / GPT-4o
│
├─ 需要私有化部署？
│   ├─ 是 → LLaVA-NeXT-7B / Qwen-VL-7B / CogVLM2-19B
│   └─ 否 → 云端API优先（GPT-4o / Qwen-VL-Max）
│
├─ 需要视频理解？
│   ├─ 是 → Gemini / GPT-4o（仅限云端）
│   └─ 否 → 图片模型足够
│
└─ 成本敏感？
    ├─ 是 → DeepSeek-VL（极低成本）
    └─ 否 → 追求效果用Qwen-VL-Max

扫描PDF → 图像分页 → 多模态模型识别 → 结构化JSON输出

请分析这张文档图片，提取以下字段：
1. 文档类型（合同/发票/报告/其他）
2. 关键日期
3. 金额（如果有）
4. 涉及方名称
5. 核心条款摘要（3-5条）

以JSON格式输出，如果字段不存在，返回null。

视频 → 抽帧（每秒1帧）→ 多模态模型逐帧分析 → 聚合生成摘要

import cv2
from PIL import Image
from transformers import AutoModelForCausalLM, AutoProcessor

# 加载多模态模型（如Qwen-VL）
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-VL-Chat")
processor = AutoProcessor.from_pretrained("Qwen/Qwen-VL-Chat")

# 视频抽帧
def extract_keyframes(video_path, interval=30):
    cap = cv2.VideoCapture(video_path)
    frames = []
    frame_count = 0
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret:
            break
        if frame_count % interval == 0:
            frames.append(Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)))
        frame_count += 1
    cap.release()
    return frames

# 多模态理解
keyframes = extract_keyframes("demo.mp4")
prompt = "请用一句话描述这个画面中发生的主要内容。"
for frame in keyframes:
    response = model.generate(prompt, image=frame)
    print(response)

用户问题 + 图片
    ↓
【多模态编码器】将图文统一编码
    ↓
【混合检索】向量库中检索相似图文片段
    ↓
【多模态生成】基于检索结果生成回答

class MultiModalAgent:
    def __init__(self, llm, vision_encoder, tools):
        self.llm = llm              # 文本大脑
        self.vision = vision_encoder # 视觉感知
        self.tools = tools          # 行动工具
    
    def perceive(self, image, text):
        # 融合感知
        visual_features = self.vision.encode(image)
        text_features = self.llm.encode(text)
        fused = self.cross_attention(text_features, visual_features)
        return fused
    
    def act(self, fused_input):
        # 思考→决策→行动（ReAct循环）
        thought = self.llm.generate(fused_input)
        action = self.select_action(thought)
        return self.tools.execute(action)