大模型应用：Mistral-7B-Instruct 中文超长文本处理实战全解析.59

def __init__(self, 
             model_name="mistralai/Mistral-7B-Instruct-v0.3",
             use_4bit=False):  # 显存<6G时设为True
    
    print("🔄 正在加载 Mistral-7B 模型（支持中文长文本处理）...")
    
    # 1. 量化配置
    bnb_config = BitsAndBytesConfig(
        load_in_4bit=use_4bit,      # True → ～5GB显存；False → ～7GB (8-bit)
        load_in_8bit=not use_4bit,
        bnb_4bit_use_double_quant=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype=torch.bfloat16
    )

# 2. 加载分词器
self.tokenizer = AutoTokenizer.from_pretrained(model_name)
self.tokenizer.pad_token = self.tokenizer.eos_token
self.tokenizer.padding_side = "left"  # Mistral 推荐左填充

# 3. 加载模型
self.model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=bnb_config,
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

# 4. 打印模型能力
config = self.model.config
sliding_win = getattr(config, "sliding_window", "N/A")
max_ctx = config.max_position_embeddings
print(f"✅ 模型加载完成！")
print(f"   - 滑动窗口大小: {sliding_win}")
print(f"   - 最大上下文长度: {max_ctx} tokens")
print(f"   - 中文提示：将通过指令引导模型输出中文")

def process_long_chinese_text(self, long_text, query):
    """
    处理超长中文文本
    :param long_text: 超长中文输入（可长达 2 万字+）
    :param query: 中文任务指令（如“总结核心观点”）
    """
    # 1. 构造中英混合 Prompt（提升中文生成质量）
    prompt = f"""[INST]
你是一个专业的中文助手，请严格根据以下提供的超长中文文本回答问题。
要求：
1. 仅基于文本内容作答，不编造信息；
2. 回答使用简体中文；
3. 语言简洁，重点突出。

超长文本：
{long_text}

任务：{query}
[/INST]"""

# 2. 分词（不截断，动态长度）
inputs = self.tokenizer(
    prompt,
    return_tensors="pt",
    truncation=False,
    padding=False
).to(self.model.device)

input_len = inputs.input_ids.shape[1]
max_ctx = self.model.config.max_position_embeddings

if input_len > max_ctx:
    raise ValueError(f"❌ 输入过长！当前 {input_len} tokens，超过模型最大长度 {max_ctx}")

print(f"📝 输入长度: {input_len} tokens（约 {input_len * 0.7:.0f} 中文字）")

# 3. 生成回答
start_time = time.time()
outputs = self.model.generate(
    **inputs,
    max_new_tokens=512,
    temperature=0.6,     # 略低于默认，提升中文稳定性
    top_p=0.9,
    do_sample=True,
    pad_token_id=self.tokenizer.pad_token_id,
    eos_token_id=self.tokenizer.eos_token_id
)
end_time = time.time()

# 4. 提取新生成内容
answer = self.tokenizer.decode(
    outputs[0][input_len:], 
    skip_special_tokens=True
).strip()

return {
    "answer": answer,
    "time_cost": round(end_time - start_time, 2),
    "input_tokens": input_len,
    "model_name": "Mistral-7B-Instruct-v0.3"
}

if __name__ == "__main__":
    # 初始化模型（若显存<6G，设 use_4bit=True）
    mistral_chinese = MistralLocalChinese(use_4bit=False)
    
    # 准备超长中文测试文本（模拟 1.5 万字）
    base_paragraph = """
    人工智能（Artificial Intelligence，简称 AI）是计算机科学的一个分支...
    """
    long_text = base_paragraph * 120  # ≈ 15,000 中文字 → ～21,000 tokens
    
    query = "请总结上述文本的核心内容，并说明滑动窗口注意力如何帮助大语言模型处理超长文本？"

    print("\n🔄 正在处理超长中文文本（约 1.5 万字）...")
    result = mistral_chinese.process_long_chinese_text(long_text, query)
    
    print("\n" + "="*60)
    print(f" 模型: {result['model_name']}")
    print(f" 输入: {result['input_tokens']} tokens")
    print(f"  耗时: {result['time_cost']} 秒")
    print(f"\n 回答:\n{result['answer']}")

# -*- coding: utf-8 -*-
import torch
import time
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

class MistralLocalChinese:
    """基于 Mistral-7B-Instruct 的中文超长文本处理系统"""
    def __init__(self, 
                 model_name="mistralai/Mistral-7B-Instruct-v0.3",
                 use_4bit=False):  # 显存<6G时设为True
        
        print("🔄 正在加载 Mistral-7B 模型（支持中文长文本处理）...")
        
        # 1. 量化配置
        bnb_config = BitsAndBytesConfig(
            load_in_4bit=use_4bit,      # True → ～5GB显存；False → ～7GB (8-bit)
            load_in_8bit=not use_4bit,
            bnb_4bit_use_double_quant=True,
            bnb_4bit_quant_type="nf4",
            bnb_4bit_compute_dtype=torch.bfloat16
        )
        
        # 2. 加载分词器
        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
        self.tokenizer.pad_token = self.tokenizer.eos_token
        self.tokenizer.padding_side = "left"  # Mistral 推荐左填充

        # 3. 加载模型
        self.model = AutoModelForCausalLM.from_pretrained(
            model_name,
            quantization_config=bnb_config,
            device_map="auto",
            torch_dtype=torch.bfloat16,
        )
        
        # 4. 打印模型能力
        config = self.model.config
        sliding_win = getattr(config, "sliding_window", "N/A")
        max_ctx = config.max_position_embeddings
        print(f"✅ 模型加载完成！")
        print(f"   - 滑动窗口大小: {sliding_win}")
        print(f"   - 最大上下文长度: {max_ctx} tokens")
        print(f"   - 中文提示：将通过指令引导模型输出中文")

    def process_long_chinese_text(self, long_text, query):
        """
        处理超长中文文本
        :param long_text: 超长中文输入（可长达 2 万字+）
        :param query: 中文任务指令（如“总结核心观点”）
        """
        # 1. 构造中英混合 Prompt（提升中文生成质量）
        prompt = f"""[INST]
你是一个专业的中文助手，请严格根据以下提供的超长中文文本回答问题。
要求：
1. 仅基于文本内容作答，不编造信息；
2. 回答使用简体中文；
3. 语言简洁，重点突出。

超长文本：
{long_text}

任务：{query}
[/INST]"""
        
        # 2. 分词（不截断，动态长度）
        inputs = self.tokenizer(
            prompt,
            return_tensors="pt",
            truncation=False,
            padding=False
        ).to(self.model.device)
        
        input_len = inputs.input_ids.shape[1]
        max_ctx = self.model.config.max_position_embeddings
        
        if input_len > max_ctx:
            raise ValueError(f"❌ 输入过长！当前 {input_len} tokens，超过模型最大长度 {max_ctx}")
        
        print(f"📝 输入长度: {input_len} tokens（约 {input_len * 0.7:.0f} 中文字）")

        # 3. 生成回答
        start_time = time.time()
        outputs = self.model.generate(
            **inputs,
            max_new_tokens=512,
            temperature=0.6,     # 略低于默认，提升中文稳定性
            top_p=0.9,
            do_sample=True,
            pad_token_id=self.tokenizer.pad_token_id,
            eos_token_id=self.tokenizer.eos_token_id
        )
        end_time = time.time()

        # 4. 提取新生成内容
        answer = self.tokenizer.decode(
            outputs[0][input_len:], 
            skip_special_tokens=True
        ).strip()

        return {
            "answer": answer,
            "time_cost": round(end_time - start_time, 2),
            "input_tokens": input_len,
            "model_name": "Mistral-7B-Instruct-v0.3 (中文优化)"
        }

# ===================== 测试运行（中文语料）=====================
if __name__ == "__main__":
    # 初始化模型（若显存<6G，设 use_4bit=True）
    mistral_chinese = MistralLocalChinese(use_4bit=False)
    
    # 准备超长中文测试文本（模拟 1.5 万字）
    base_paragraph = """
    人工智能（Artificial Intelligence，简称 AI）是计算机科学的一个分支，致力于构建能够模拟、延伸和扩展人类智能的系统。
    自 1956 年达特茅斯会议提出“人工智能”概念以来，该领域经历了多次高潮与低谷。
    近年来，随着深度学习、大数据和算力的突破，大语言模型（Large Language Models, LLMs）成为 AI 发展的核心驱动力。
    以 GPT、LLaMA、Mistral、Qwen 为代表的开源或闭源模型，展现出强大的语言理解与生成能力。
    然而，传统 Transformer 架构的自注意力机制具有 O(n²) 的计算复杂度，严重限制了模型处理超长文本的能力。
    为解决这一问题，研究者提出了多种“扩窗技术”，其中滑动窗口注意力（Sliding Window Attention）因其简单高效而被广泛采用。
    Mistral-7B 是首个在开源社区大规模应用滑动窗口的高性能模型，其窗口大小为 4096，最大上下文长度可达 32768 tokens。
    这使得 Mistral 能够有效处理书籍摘要、法律文书分析、长篇代码理解等长上下文任务。
    尽管 Mistral 以英文训练为主，但通过合理的中文指令引导，仍可在中文场景中发挥出色表现。
    """
    
    long_text = base_paragraph * 120  # ≈ 15,000 中文字 → ～21,000 tokens
    
    query = "请总结上述文本的核心内容，并说明滑动窗口注意力如何帮助大语言模型处理超长文本？"

    print("\n🔄 正在处理超长中文文本（约 1.5 万字）...")
    result = mistral_chinese.process_long_chinese_text(long_text, query)
    
    print("\n" + "="*60)
    print(f" 模型: {result['model_name']}")
    print(f" 输入: {result['input_tokens']} tokens")
    print(f"  耗时: {result['time_cost']} 秒")
    print(f"\n 回答:\n{result['answer']}")