声明:本文基于公开发布的国家标准文本、法规条文与公开的属地备案指引整理,不含任何产品推广,也不构成法律意见。文中引用的标准条目均标注出处;凡属推荐性要求已单独说明。具体项目请以正式文本与属地网信部门答复为准。
写语料标注规则,最常听到的一句评价是"写得挺全的"。
这句话通常是好话,但它掩盖了一个更要紧的问题:它是"全面"还是"可执行"?这两件事在规则文本里长得很像,实际差得很远。
判断方法很简单。随便挑一条出来读:
标注过程中应保证标注质量的稳定性与一致性。
这句话正确、体面、什么都能覆盖,但它没法被判真伪。你无法说某一天的行为违反了它,也无法说某一天的行为符合它。
而规则的价值恰恰在于能被判真伪——一条不能被判真伪的规则,起不到规则的作用,只能起到表态的作用。
由此得到本文的主线:
规则不可执行的根因,通常不是内容不够全,而是句子类型错了。一份可执行的规则,通篇由判定句和检测句构成,要求句只是它的标题。
三个概念先定义清楚,后面全部围绕它们展开:
要求句是必要的,但一条规则只有要求句,就无法执行、无法培训、无法验收,也无法在核验时自证。
这篇讲的是怎么把要求句改造成后两种句子。重点在三处:一条规则的内部结构、判据的三类写法、以及多模态场景下"边界"到底指什么——最后这一处是实践里最缺现成答案的地方。
先把失效的形态说清楚。规则里让人无从下手的地方,几乎都集中在同一类词上。
词 | 出现在规则里的样子 | 为什么没法执行 |
|---|---|---|
充分 | 应有充分的审核 | 多少算充分?无阈值 |
适当 | 应适当控制标注强度 | 谁定适当?无基准 |
及时 | 应及时处理争议标注 | 几小时内算及时?无时限 |
合理 | 应给出合理的判定理由 | 什么理由算合理?无判据 |
必要 | 应对标注人员进行必要的培训 | 几课时、哪些内容?无清单 |
这五个词有一个共同点:它们把判断权交回给了执行者,而执行者的判断正是规则要约束的对象。
这不是说这些词不能用。它们在制度性文件(如管理方针)里是恰当的,因为那种文件的功能是宣示取向。问题在于语料标注规则同时要承担三个功能——培训依据、验收标准、自证材料,而这三个功能都要求可判定。
把同一件事写成两种句子,差别非常直观。
版本 | 文本 |
|---|---|
要求句版本 | 应保证安全性标注的审核质量,确保审核结论准确。 |
判定句版本 | 每条安全性标注数据须由审核人员在平台内签署结论,结论限于"通过/退回/舍弃"三种;未签署的样本不计入已完成;同一任务内签署人不得为标注执行人。 |
检测句版本 | 抽取任一批次,在平台内可查到该批每条样本的签署人、签署时间、结论;随机抽 20 条,比对签署人与该任务的角色表,确认无重合。 |
三个版本说的是同一件事,但只有后两个能用于培训和验收。第一个版本在核验时会被追问一句"你们怎么保证准确",而这句话没有答案。
规则写得越"包容",被追问的面积越大。
因为每条含糊的表述,都会在核验时变成一个需要口头解释的问题。而口头解释的质量取决于当时在场的是谁,这本身就不可控。
反过来,一条写得窄但确定的规则,虽然覆盖面小,但它不产生需要解释的空白。
改造不是把句子写长,而是补齐五个要素。少一个,这条规则就在某个环节断掉。
要素 | 作用 | 缺了会怎样 |
|---|---|---|
触发条件 | 说明这条规则在什么情形下适用 | 规则被套用到不该用的样本上 |
判定标准 | 给出可判真伪的条件 | 两个人判出不同结果 |
边界说明 | 说明相邻情形的区分方式 | 介于两类之间的样本无处安放 |
违约处置 | 说明不符合时怎么处理 | 发现了也没有动作 |
证据形态 | 说明这条规则的执行留下什么记录 | 做了也证明不了 |
五个要素对应五个不同的失败场景,值得逐个说。
触发条件常被省略,因为写的人觉得"这很明显"。但标注员面对的是具体样本,样本不会自带"我属于哪条规则"的标签。触发条件写不写,决定了同一条规则是被正确套用,还是被随机套用。
判定标准是核心,第 4 节单独展开。
边界说明是这类规则最缺的部分,第 6 节展开。
违约处置缺得最普遍。规则里写了"应当审核",但没写"如果发现某批没审怎么办"。结果就是发现了也只能补一句说明——而这一句说明在核验时等于承认了失控。
证据形态决定了这条规则能不能自证。它不是"留个记录"这么笼统,而要具体到:记在哪个系统、包含哪几个字段、保留多久、谁能查。
以"多人标注结果不一致"这条为例,走一遍五要素。
要素 | 内容 |
|---|---|
触发条件 | 同一提示信息由两名及以上标注执行人员标注,且结论不一致 |
判定标准 | 不一致即触发,不以分歧条目数为门槛;结论按"风险等级/是否含个人信息/是否含侵权内容"三栏分别比对,任一栏不一致即视为不一致 |
边界说明 | 仅措辞不同但结论相同,不计入不一致;一方判"舍弃"另一方判"通过",按不一致处理 |
违约处置 | 提交仲裁;仲裁结论为最终结论;同一批次同类分歧出现三次以上,回查该批规则理解是否一致,必要时重训 |
证据形态 | 分歧台账:样本编号、各方结论、仲裁人、仲裁结论、仲裁时间;台账与该批标注结果关联可查 |
这张表可以当模板直接用。任何一条规则填不满五格,说明它在某个环节还没想清楚。
从要求句到检测句,中间有固定的转换动作,不是靠文笔。
类型 | 回答的问题 | 转换动作 | 转换后的形态 |
|---|---|---|---|
要求句 | 准则是什么 | 找出它真正约束的行为 | "应有审核环节"→ 约束的是"谁审、审什么、什么时候签" |
判定句 | 这种情况算不算合规 | 给条件加阈值、加枚举、加比较基准 | "由审核人员签署结论,结论限三种" |
检测句 | 怎么确认 | 指定抽样方式、凭证位置、比对对象 | "抽 20 条,在平台内比对签署人与角色表" |
三个动作里,第一个最容易被跳过。
因为要求句看起来已经很完整了——"应有审核环节"这句话,读起来像一件事已经说完。但它只说了"有",没说"谁"、"审什么"、"留下什么"。跳过这一步,后面两步就没有着手点。
一个实用的追问法:对着每条要求句连问四次"具体指什么"。
以"应保证标注数据安全"为例:
问到第四层,判定句基本就成型了。四层这个深度不是规定,但它大致对应"人能照着做"的颗粒度——低于三层太粗,高于五层通常进入实现细节,不适合写进规则。
判定句的难点全在"怎么判"。可用的判据只有三类,而它们的适用条件不同。
类型 | 形态 | 适用 | 例子 |
|---|---|---|---|
可枚举 | 有限集合,逐项对应 | 类别、结论、处置方式 | 审核结论限"通过/退回/舍弃" |
可计量 | 数量、比例、时限 | 抽检量、合格率、响应时间 | 每批随机抽检不少于该批总量的某一比例 |
可比较 | 与一个明确基准比对 | 一致性、完整性、可追溯性 | 签署人与该任务角色表比对,无重合则通过 |
三类判据有一个共同前提:基准必须存在于规则之外,且可被独立查到。 角色表在系统里、抽样量在台账里、样本总量在批次记录里——这三个都不依赖被检查方的口头说明。
这是实践中最实际的问题。有些要求确实难以量化,比如"标注应当客观"。
两种处置都正当,但要分清适用。
第一种:降级为流程约束。
承认"客观"无法直接判,改为约束影响客观性的流程条件——例如"同一批次的标注不与产出方的绩效直接挂钩"、"争议样本由非本组成员仲裁"。这些是可判的,而它们间接支撑了"客观"。
第二种:降级为抽样判断,并公开判据。
在规则里写明:由审核人员按附件给出的判断要点逐条核对,判断要点必须列出。这样"客观"变成了"是否符合附件所列要点",仍然可判——只是判据从数值变成了清单。
两种做法都不完美,但都比留一句形容词好。区别是:第一种管住了成因,第二种管住了表现。前者更稳,后者更省事。
把"合格率"当成唯一的判定标准,是这类规则里的高发问题。
合格率的性质是结果指标,它无法回答"为什么不合格"。而标注规则的验收需要的恰恰是后者——同一批里不合格的是哪几类样本、属于哪条规则的哪一格、是规则不清还是执行偏差。
所以合格率应当配一张分类表:不合格样本按规则条款归类。这张表的价值远大于一个百分比,因为它直接指向需要改动的那一条。
这是本文最想补上的一块。前两节讨论的结构问题与模态无关,但判定标准的具体写法,随模态变化很大,而这一点在多数规则里被忽略了。
原因不难理解:大部分团队的语料以文本为主,规则自然按文本写;后来加了图片或语音,就把文本规则套上去,只改了几个名词。
而实际上,"判什么"和"边界在哪"都变了。
标准对任务类型的要求是明确的:需要明确具体标注任务类型,对含有文本、图片、音频、视频、时间序列等不同内容的标注任务,应符合数据标注规程中的相应要求,任务类型可参照该标准的附录示例。
下表是按工程视角整理的对照,用于说明差异所在,不替代标准条文。
模态 | 判定对象 | 边界单位 | 常见不可判点 |
|---|---|---|---|
文本 | 语义片段(句、段、整篇) | 字/句/段 | 反讽、引用与主张的区分;跨段语义依赖 |
图片 | 区域、对象、图文关系 | 像素区域/对象框/整图 | 遮挡、低分辨率、多主体同框;图内文字与图意的冲突 |
音频 | 时间片段内的语音内容 | 时间区间(起止点) | 起止点歧义;背景声与主体声分离;变声与方言 |
视频 | 时间区间内的画面与音轨 | 帧区间/镜头 | 跨镜头语义;关键帧选取;音画不同步 |
时间序列 | 区间内的模式与异常点 | 采样区间/异常点位置 | 异常点边界模糊;周期性导致的误判 |
这张表最有用的一栏是最后一列。"不可判点"决定了规则里要不要设"转人工/转仲裁"的通道。
举两个具体例子。
图片的遮挡与低分辨率。 一张图中的人物面部被遮挡,是否仍应判为含个人信息?如果规则里只写"含人脸即标注为个人信息",那么遮挡到无法识别的图也会被计入,样本统计随之失真。可行的写法是分档:可识别、部分遮挡但特征可辨、不可识别,三档分别处置,并明确判断依据(如可辨识的五官要素数量或人工判断要点)。
音频的起止点。 一段语音里含违规表述,边界应当从表述开始处起算,还是从语义单元(如整句)起算?两种算法得到的时长不同,直接影响到"违规内容占比"这一类统计。规则里必须选一种并写明,不能让标注员自定。
视频的跨镜头语义。 单个镜头无害,连续镜头组合构成不当内容——这类情形只能按片段判,按帧判必然漏。规则要说明判定单位是片段,以及片段如何切分(按镜头、按时长、按语义段落)。
时间序列的异常边界。 异常点往往不是单点,而是一个区间的起点。规则要说明按什么标准截取(如首次越界时刻、持续越界超若干采样点),否则不同人给出不同区间。
差异之外,有三条是共通的,可以作为多模态规则的基线。
第一,每种模态独立成节,不合成一套通则加例外。
合成写法的后果是:通则按文本写,例外列表越写越长,最后每条都成了例外。分开写虽然字数多,但每条都可独立执行。
第二,每种模态单独说明其"完整样本"的定义。
文本的完整样本可能是一段、图片是一张、音频是一段录音、视频是一个完整片段。这个定义决定了"一条样本"的计数口径,也决定了抽样量怎么算。口径不统一,抽检比例就没有意义。
第三,模态之间的组合要单列。
图文混排、音画同步、文内嵌图,这些组合样本的判定往往需要两条规则同时适用。规则要说明优先顺序:以哪一栏的结论为准,冲突时怎么处理。这一条在实践中几乎完全缺失,而它是复合模态产品最常遇到的。
第 2 节说边界说明是五要素里最缺的一项。这一节把它展开。
情形 | 表现 | 规则里应有的处理 |
|---|---|---|
判不出 | 样本落在两条规则之间,两条都不完全适用 | 给出判定顺序,而不是给一个结论 |
判据冲突 | 同一栏同时满足两个类的判定条件 | 给出优先级,并说明理由 |
判据缺失 | 样本涉及的维度,规则里没有对应条款 | 设升级通道:转谁、多久内答复、答复如何留痕 |
判据过时 | 规则按旧场景写,遇到新形态无从下手 | 设触发复核的条件,而不是靠人发现 |
四类里,第一类和第三类最值得写清。
判不出的时候,给顺序,不给结论。
理由是这样的:结论只能覆盖已经想到的案例,而顺序能处理没想到的。
举例:一条内容既含对某群体的刻板描述,又是对他人观点的引用与批评。规则不可能穷举所有这样的组合,但可以给判定顺序——先看内容是否在事实上主张该描述,再看是否存在明确的批评语境,最后看是否存在更宽的解释空间使其可被接受。
顺序的写法有一个额外好处:它把"判断"变成了一次可复核的推理,而不是一次直觉。核验时被问"这条为什么这么判",能答出走了哪一步,比答"我觉得"要稳得多。
判据缺失的时候,必须设升级通道。
不设通道的后果是:标注员只能自己决定,而这个决定既不留痕也不可复核。规范做法是写明三条——升级给谁(角色,不是姓名)、多长时间内答复、答复以什么形式留存。
这三条写清了,规则就具备了"处理未知"的能力。而一份没有升级通道的规则,本质上假定"所有情况都已想到",这个假定在真实数据面前基本不成立。
这一点在多模态场景下特别容易混。
"标注对象"指的是要标什么(一句话、一个区域、一段音频)。"样本边界"指的是这条样本到哪里为止(一句话前后是否包含上下文、一个区域是否包含邻近背景、一段音频是否含前后静音)。
两者不区分,会产生一种很难追溯的偏差:不同标注员截取的样本边界不同,判出的结论都"对",但统计口径已经不一样了。
规则里应当对每种模态分别写明样本边界,例如文本类说明是否包含前后各若干句上下文,图片类说明区域是否含邻近背景,音频类说明是否含前后静音段。
规则里出现频次最高的几个词,往往是歧义最大的词。
词 | 可能的理解 | 规则里应当固定为 |
|---|---|---|
样本 | 一条数据/一次问答/一个文件 | 明确到"一次提示—响应配对"或"一个文件" |
批次 | 一次提交/一天的量/一个来源 | 明确切分依据与规模区间 |
审核 | 自查/复核/终审 | 明确到人、到签署动作 |
通过 | 无风险/风险可控/符合本批要求 | 明确到与哪几类判定对应 |
抽检 | 随机抽/按类分层抽 | 明确抽样方法与比例口径 |
这一节的写法建议是给规则加一张术语表,五到十行即可。成本很低,收益是把后续所有条款的歧义一次性压掉。
一个可验证的判断:如果两个标注员对同一批样本的标注结果差异明显,先查术语表有没有,再查规则清不清。很多"规则不清"的诊断,实际是术语没定。
如果说本文有一个可以直接照做的东西,就是这张卡。
它的思路是把每条规则做成一个自足的单元——单看这一张卡,就能知道它在什么情况下用、怎么判、判不出来怎么办、要留什么证据。
字段 | 填写要求 |
|---|---|
规则编号 | 稳定不改,用于台账与不合格归类 |
适用对象 | 模态、任务类型、样本边界 |
触发条件 | 什么情形下适用这条 |
判定标准 | 三类判据中至少一类,附阈值或枚举 |
边界与冲突 | 相邻情形如何处理,冲突时的优先级 |
违约处置 | 不符合时做什么,谁做,多久内 |
证据形态 | 记在哪、含哪些字段、保留多久、谁可查 |
版本与生效日 | 修订追溯用 |
关联规则 | 可能同时适用的其他条款,避免冲突 |
九个字段,一条规则一张卡。规则多了之后,这套卡可以直接作为附件的组织方式,也可以作为培训材料的分发单元。
填写顺序建议从"证据形态"倒着填。 先想清楚这条规则执行完会留下什么记录,再往前推判定标准和触发条件。理由很实际:能被记录的东西才可能被判定;先想判定再想证据,容易写出一条漂亮但留不下痕迹的规则。
规则写完之后,做一次压力测试。方法很简单。
步骤一:从规则里随机抽 10 条。
步骤二:找三个人独立阅读规则,其中至少一人未参与规则编写。给他们同一批 20 条样本(含边界样本),要求各自按规则标注,并写出所依据的规则编号。
步骤三:比对结果。 看两件事——结论是否一致;依据的规则编号是否一致。
四种组合对应四个不同的病灶:
结论 | 依据条款 | 诊断 |
|---|---|---|
一致 | 一致 | 这条规则可执行 |
一致 | 不一致 | 规则重叠:多条都能套用,需要理清适用顺序 |
不一致 | 一致 | 判据不足:条款适用对了,但判定标准不够具体 |
不一致 | 不一致 | 规则缺失或术语未定:先补术语表,再看是否需新增条款 |
这个测试的价值在于它区分了四种失效。多数团队做规则评审时只有"能不能看懂"这一个维度,而看懂不等于判得一样。
成本也很低:三个人、二十条样本、一个下午。它比通读三遍更能发现问题,因为通读只能发现"读不通",不能发现"读得通但判不一样"。
按出现频率排列。
一、通篇要求句,没有判定句。
最普遍的一种。读起来完整,用起来无从下手,核验时无法自证。判断方法:任取一条,试着说"违反它的具体表现是什么",说不出来就是这类。
二、判据有阈值,但没写口径。
写了"抽检不低于某一比例",但没写分母是什么(该批总量?该批该类别量?),于是同一句话可以算出三个不同的数。口径要写在阈值旁边,不要另设一节说明。
三、边界只给结论,不给顺序。
写"这种情况应判为××",但没写"介于其间时按什么顺序判断"。结论覆盖不了未预见的组合。
四、违约处置缺失。
规则里全是"应当",没有一处"未做到时如何"。结果是发现问题时只能补说明。
五、证据形态笼统。
写"应有记录",没写记在哪、含哪些字段、保留多久。这三种缺失中任何一种,都会让这条规则在核验环节归零。
六、多模态只改名词,不改判法。
把文本规则里的"词"换成"区域"、把"句"换成"片段",其余照抄。结果是每一种模态都缺关键定义:样本边界、不可判点、组合样本的优先顺序。
按本文结构分组,共 26 项。建议在定稿前逐项过,每次修订后重跑 A、B 两组。
A 句子类型(7)
B 结构与边界(7)
C 多模态(6)
D 可用性与留痕(6)
问:规则里的"应当"能不能全改成"必须"?
答:不能。这两个词在规范文本里承担不同功能:应条款通常对应要求,宜条款对应推荐。
全改成"必须"会让一些本来是推荐性的做法变成硬承诺,而做不到的硬承诺比含糊的表述更麻烦。要做的是把"应"之后的内容改成可判定的,而不是把"应"字加重。
问:判定标准一定要有数字吗?
答:不一定。可枚举与可比较这两类判据不含数字,但同样可判。"结论限于三种"是可枚举,"签署人与角色表比对无重合"是可比较。真正需要避免的是既无枚举、又无可比基准、又没有数字的表述。
问:多模态里最难写的是哪一个?
答:从实践看是视频。它的边界最多重——时间边界、镜头边界、语义边界,还有音轨与画面是否分开判的问题。如果产品涉及视频,建议单独为它写一份子规则,而不是并进主规则里当一节。
问:规则写得很细,会不会限制标注员的专业判断?
答:会限制"自由裁量",这正是目的之一。但要注意区分两种情形:判据明确时不允许发挥;判据缺失时必须有升级通道。把这两条都写清,规则就不会变成死板——它只在能判的地方固定,在不能判的地方开设通道。
问:三人独立判测试需要每次都做吗?
答:规则新增或改动时做,尤其是新增模态、新增业务场景、调整判据时。全量重做没有必要,但抽 10 条的成本很低,改动后不做容易漏掉"读得通但判不一样"这类问题。
问:多模态规则的字数会膨胀很多,怎么控制?
答:用单元卡组织,避免重复。
同一套五要素在不同模态下重复出现是正常的,因为判法不同;但触发条件、违约处置、证据形态这三项,若确实一致可以交叉引用,只在差异处重写。
真正不能省的是判定标准与边界单位,这两项每模态必须独立写。
把全文收敛成一句:
评价一份规则写得好不好,标准不是"写得全",而是"换一个人读,能不能判出同一个结果"。
这句话把注意力从篇幅拉回到句子。因为篇幅是容易的,句子是难的——每一条要求句改造成判定句,都要回答一次"具体指什么";每一条判定句要能用于验收,都要想清楚"证据在哪"。
如果只从这篇带走一个动作,我建议是这个:
从规则里挑三条最核心的,按五要素各填一张卡。填不出来的格子,就是这份规则真正的缺口。
三张卡不需要多久。但填完之后,你对这份规则的理解会和通读三遍完全不同——因为通读只能发现写得不清楚的地方,填卡才能发现想得不清楚的地方。
规则最终是要给人用的。它面前站着三类人:照着做的标注员、判合规的审核员、来核验的第三方。三类人都只做一件事——沿着句子往下走,看它能不能走到一个能被确认的终点。
句子走不到头,规则就到不了位。
注:上述国家标准均为推荐性标准。文中关于多模态判定对象、边界单位与不可判点的表述,为工程实践视角的归纳,用于说明规则写法差异,不替代标准条文原文;具体任务类型与判定要求请以正式文本为准。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。