信息抽取流水线构建实用技巧

信息抽取流水线构建实用技巧

概述

本演示将介绍如何创建信息抽取流水线，重点使用 spaCy NLP 库和 Prodigy 标注工具，但所讨论的原则也适用于其他框架。

资源链接

• spaCy：工业级自然语言处理undefinedhttps://spacy.ioundefinedspaCy 是一个免费的、开源的 Python 高级自然语言处理库，专为生产环境设计，帮助构建处理和理解大量文本的应用程序。
• Prodigy：高效机器教学undefinedhttps://prodi.gyundefinedProdigy 是一个现代化的标注工具，用于为机器学习模型创建训练数据。其高效性使得数据科学家可以自行标注，实现快速迭代。
• spacy-llm：将大语言模型集成到结构化NLP流水线undefinedhttps://github.com/explosion/spacy-llmundefinedspacy-llm 提供模块化系统，支持快速原型设计和提示词工程，将非结构化响应转换为适合各种NLP任务的稳健输出，无需训练数据。
• 人机协同蒸馏实用指南undefinedhttps://explosion.ai/blog/human-in-the-loop-distillationundefined｜文章提出了实用解决方案，用于在实际应用中使用最先进的模型，并将其知识蒸馏为更小、更快的组件，以便内部运行和维护。
• 某机构如何利用NLP、spaCy和Prodigy提高市场透明度undefinedhttps://explosion.ai/blog/sp-global-commoditiesundefined｜案例研究：某机构在大安全环境下，使用人机协同蒸馏构建高效信息抽取流水线，用于实时大宗商品交易洞察。

正文

信息抽取的含义

• 📝 将文本转化为数据undefined从财报中建立数据库，或从招聘信息中提取技能，或从社交媒体中提取产品反馈等。
• 🗂 包含众多子任务undefined文本分类、命名实体识别、实体链接、关系抽取等都可以成为信息抽取流水线的一部分。
• 🎯 多数为静态模式undefined大多数人一次解决一个问题，这也是本文的焦点。

示例

数据库内容："某公司筹集500万美元革新搜索，由某机构领投"

• 命名实体识别 → 公司 / 公司
• 货币归一化 → 金额
• 自定义数据库查询 + 实体消歧 → 内部ID
• 实体关系抽取 → 投资者

RIE 与 RAG

RIE（基于信息抽取的检索）：

用户问题 → 文本到SQL查询 → 数据 → NLP流水线 → 文本语料

RAG（检索增强生成）：

用户问题 → 向量化 → 查询 → 向量数据库 → 文本片段 + 向量化

大纲

1. 训练技巧
2. 建模技巧
3. 数据标注技巧

监督学习依然强大

• 示例数据非常强大
• 示例数据能做到指令无法做到的事情
• 上下文学习无法规模化使用示例

知道你的“敌人”：什么让监督学习变得困难？

• 产品愿景 + 鸡与蛋问题
• 准确率估计
• 训练与评估
• 标注数据
• 标注方案

结果难以解释

• 😬 模型完全不训练 → 数据有问题？
• 🤨 模型仅略优于随机 → 可能是数据、超参数、建模问题……
• 🥹 结果尚可！但能否更好？如何知道是否错过提升？
• 🤔 结果好得难以置信 → 很可能数据搞错了……

1. 训练

提出并证伪假设

假设：某个环节出了问题

问题：如果这个环节坏了，我应该看到什么现象？

测试：实际发生的是否符合预期？

科学思维 vs 解决方案思维

例如：“我无法连接这个网站。”

• 解决方案思维：“也许重新连接Wi-Fi或重启路由器就能解决。”
• 科学思维：“如果问题在我和网站之间，其他网站也应该无法加载；如果问题在我和路由器之间，我将无法ping通它。”

调试训练的示例

• 📉 只在极少数据上训练会发生什么？模型收敛吗？
• 🔀 随机化训练标签会发生什么？模型还能学习吗？
• 🪄 训练过程中模型权重是否有任何变化？
• 🧮 梯度的均值和方差是多少？

优先考虑鲁棒性，而非准确率

• 📈 “更好”需要看起来更好，不能是这样的曲线（不稳定）
• 📦 更大的模型往往不够实用
• 🤏 需要在少量样本下也能工作
• 🌪 大批量大小下，大模型稳定性更差

2. 建模

在数据上迭代并缩小规模

原型阶段：

文本 → 提示词 → GPT-4 API → 任务特定输出

使用 spacy-llm（提示词模型 + 将输出转换为结构化数据）

生产阶段：

文本 → 蒸馏后的任务特定组件 → 任务特定输出

特点：模块化、小巧快速、数据私密

配置文件 (config.cfg)

• 组件
• 模型和提供商
• 任务定义和标签（命名实体识别、文本分类、关系抽取等）
• 用于提示词的标签定义

（示例来自案例研究：某机构大宗商品）

3. 数据标注

需要多少数据？

训练曲线诊断（使用 Prodigy）：

分别用 25%、50%、75%、100% 的数据训练4次，观察分数变化。

评估注意：

• ⚠ 需要足够的数据以避免报告无意义的精确率
• 📊 每个有效数字对应十个样本是一个好的经验法则
• 1000 个样本相当不错——足以区分 94% 与 95% 的准确率

保持任务小而精

人类也有“缓存”！

✅ 好做法：

for annotation_type in annotation_types:
    for example in examples:
        annotate(example, annotation_type)

❌ 坏做法：

for example in examples:
    for annotation_type in annotation_types:
        annotate(example, annotation_type)

使用模型辅助

• 🔮 尽可能提供标注建议：基于规则、初始训练模型、大语言模型，或它们的组合
• 🔥 建议提高效率：常见情况预先设置好能大大加快标注速度
• 📈 建议提高准确性：常见情况需要一致标注，人类在这方面表现不佳

人机协同

流程：

基线 → 持续评估 → 提示词工程 → 迁移学习 → 蒸馏模型

使用Prodigy调用大语言模型进行标注

命令行示例：

$ prodigy ner.llm.correct todo_eval ./config.cfg ./examples.jsonl

• 带工作流的配方函数
• 保存标注的数据集
• 原始数据
• 配置文件指定模型：[components.llm.model] @llm_models = "spacy.GPT-4.v2"

启动后：

✨ 在 localhost:8080 启动Web服务器... 打开应用开始标注！

标注从内部开始

• 标注指南
• 标注会议

（案例研究参考：某机构博客）

总结

• 📒 提出并证伪假设
• 🔮 优先考虑鲁棒性
• ⚗ 缩小规模并迭代
• 想象自己就是模型
• 完成流水线到生产
• 保持敏捷，自己动手标注
• 保持任务小而精
• 使用模型辅助

致谢

某机构 · spaCy · Prodigy

社交媒体：@honnibal 等FINISHED