AI 应用定制化：从"通用模型"到"专属系统"

# 一个定制化的 Prompt 模板（客服工单分类场景）
SYSTEM_PROMPT = """
你是一个客服工单分类专家。你的任务是将用户提交的工单文本分类到以下类别之一：
- 售后问题：涉及退换货、维修、质保
- 使用咨询：涉及产品功能、操作方法
- 投诉建议：涉及服务态度、流程改进
- 其他：不在上述三类中的问题

输出格式（严格遵守）：
{"category": "类别名称", "confidence": 0.0-1.0, "summary": "一句话摘要"}

输入示例：
"我的手机充电口坏了，还在保修期内，怎么申请维修？"
输出示例：
{"category": "售后问题", "confidence": 0.92, "summary": "手机充电口故障，保修期内申请维修"}

以下是用户输入：
"""

def classify_ticket(user_input: str) -> dict:
    response = llm.chat(SYSTEM_PROMPT + user_input)
    return json.loads(response)

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.chains import RetrievalQA

class CustomRAG:
    def __init__(self, doc_path: str):
        # 1. 加载企业私有文档
        docs = load_documents(doc_path)
        
        # 2. 切分 + 向量化
        text_splitter = RecursiveCharacterTextSplitter(chunk_size=500)
        chunks = text_splitter.split_documents(docs)
        vectorstore = Chroma.from_documents(chunks, OpenAIEmbeddings())
        
        # 3. 创建检索问答链
        self.qa_chain = RetrievalQA.from_chain_type(
            llm=ChatOpenAI(model="gpt-4"),
            retriever=vectorstore.as_retriever(search_kwargs={"k": 5})
        )
    
    def ask(self, question: str) -> str:
        # 检索相关文档片段 → 组装上下文 → LLM生成回答
        return self.qa_chain.run(question)

# 使用 Hugging Face 进行微调（简化的核心代码）
from transformers import AutoModelForCausalLM, TrainingArguments, Trainer
from datasets import Dataset

# 1. 准备训练数据（JSONL 格式：{"instruction": "...", "output": "..."}）
train_data = Dataset.from_json("custom_train.jsonl")

# 2. 加载基础模型
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-7B-Instruct")

# 3. 配置 LoRA（低秩适配，一种高效的微调方法）
from peft import LoraConfig, get_peft_model
lora_config = LoraConfig(
    r=8,                     # 秩
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05
)
model = get_peft_model(model, lora_config)

# 4. 训练
trainer = Trainer(
    model=model,
    args=TrainingArguments(
        output_dir="./custom_model",
        num_train_epochs=3,
        per_device_train_batch_size=4,
        learning_rate=2e-4
    ),
    train_dataset=train_data
)
trainer.train()

┌─────────────────────────────────────────────┐
│            接入层（Web/API/IM）              │
├─────────────────────────────────────────────┤
│           业务逻辑层（Workflow）             │
│   ┌─────────┐  ┌─────────┐  ┌─────────┐   │
│   │意图识别 │  │路由分发 │  │后处理  │   │
│   └─────────┘  └─────────┘  └─────────┘   │
├─────────────────────────────────────────────┤
│           模型层（Model Gateway）            │
│   ┌─────────┐  ┌─────────┐  ┌─────────┐   │
│   │通用模型 │  │微调模型 │  │RAG引擎 │   │
│   └─────────┘  └─────────┘  └─────────┘   │
├─────────────────────────────────────────────┤
│           数据层（私有数据）                 │
│   ┌─────────┐  ┌─────────┐  ┌─────────┐   │
│   │业务DB   │  │向量库   │  │文档库   │   │
│   └─────────┘  └─────────┘  └─────────┘   │
└─────────────────────────────────────────────┘