技术文档智能问答系统搭建：API文档到架构设计的知识库工程

┌─────────────────────────────────────────────┐
│              数据源层                        │
│  Swagger  │  GitHub  │  Confluence  │  内部Wiki │
└─────────────────────────────────────────────┘
                    ↓
┌─────────────────────────────────────────────┐
│              处理层                          │
├─────────────────────────────────────────────┤
│  文档爬取  │  格式解析  │  文档切分  │  向量化   │
└─────────────────────────────────────────────┘
                    ↓
┌─────────────────────────────────────────────┐
│              存储层                          │
│  向量数据库  │  原始文档库  │  元数据索引     │
└─────────────────────────────────────────────┘
                    ↓
┌─────────────────────────────────────────────┐
│              检索服务层                      │
├─────────────────────────────────────────────┤
│  查询改写  │  向量检索  │  重排序  │  上下文增强 │
└─────────────────────────────────────────────┘
                    ↓
┌─────────────────────────────────────────────┐
│              问答层                          │
│  LLM生成  │  来源溯源  │  反馈收集          │
└─────────────────────────────────────────────┘

-- 文档版本追踪表
CREATE TABLE doc_version (
    id BIGINT PRIMARY KEY,
    source_type VARCHAR(32),    -- swagger/markdown/confluence
    source_url VARCHAR(512),
    version VARCHAR(32),        -- v1.0.0 / main / release-2.x
    fetched_at DATETIME,
    content_hash VARCHAR(64),   -- 内容去重
    status VARCHAR(16)          -- processing/done/failed
);

def chunk_document(doc):
    chunks = []
    
    # 1. 按标题层级切分（保留结构）
    sections = split_by_headers(doc)
    
    for section in sections:
        # 2. 代码块单独处理（保留语言标识）
        if section.type == "code_block":
            chunks.append({
                "type": "code",
                "language": section.language,
                "content": section.content,
                "metadata": {"api_endpoint": extract_api_endpoint(section)}
            })
        
        # 3. 表格单独处理（转换为文本描述）
        elif section.type == "table":
            chunks.append({
                "type": "table",
                "content": table_to_text(section),
                "metadata": {"columns": section.columns}
            })
        
        # 4. 普通段落按语义切分
        else:
            chunks.extend(split_by_semantic(section.content, max_tokens=512))
    
    return chunks

def hybrid_search(query, top_k=10):
    # 向量检索
    vector_results = vector_db.search(query, top_k=20)
    
    # 关键词检索（BM25）
    keyword_results = bm25.search(query, top_k=20)
    
    # RRF融合排序
    fused_results = reciprocal_rank_fusion(
        [vector_results, keyword_results],
        weights=[0.6, 0.4]
    )
    
    return fused_results[:top_k]

def rerank(query, candidates):
    # 使用CrossEncoder模型精排
    scores = cross_encoder.predict([
        [query, doc.content] for doc in candidates
    ])
    
    # 按分数重新排序
    reranked = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)
    return reranked[:5]  # 取Top5

1. 用户提问 "如何调用用户信息接口？"
          ↓
2. 查询改写
   - 识别意图：API调用指南
   - 提取实体：用户信息接口
          ↓
3. 多路召回
   - 向量检索：从向量库召回20个chunk
   - 关键词检索：BM25召回20个chunk
          ↓
4. 重排序
   - CrossEncoder精排，取Top5
          ↓
5. 上下文增强
   - 补充接口完整定义
   - 关联相关代码示例
   - 附带版本信息（当前最新版v2.3.0）
          ↓
6. LLM生成
   - Prompt注入系统角色和上下文
   - 约束：仅基于知识库回答，附来源
          ↓
7. 输出答案 + 来源引用

你是一个技术文档助手。请根据以下【技术文档内容】回答问题。

【技术文档内容】
{检索到的chunks列表，每个chunk包含内容和来源}

【用户问题】
{用户输入的问题}

约束：
1. 如果文档中有明确信息，基于文档回答
2. 如果文档中没有，明确说“文档中未找到”
3. 回答中附上信息来源（文档名称、章节、版本）
4. 涉及代码时，保持代码块格式

回答：