如何判断 AI Skill 是否安全？TRACE 评测体系使用指南

摘要

TRACE 是 SkillHub 首发的 AI Skill 质量评测体系，从五个维度评估 Skill 质量。本文介绍 TRACE 评测体系的原理、如何在 SkillHub 平台上查看 TRACE 评分，以及如何结合 TRACE 评分选择合适的 Skills。

TRACE 评测体系为判断 AI Skill 质量提供了可操作的参考框架。访问 SkillHub 平台，在技能详情页查看 TRACE 评分，选择经过安全审核的高质量 AI 技能。

一、AI Skill的安全风险从何而来

AI Skill作为一种可执行的内容，存在一定的安全风险。这些风险可能来自以下几个方面：

技能内容本身的风险：技能中可能包含不当的提示词，导致AI执行非预期的操作。或者技能被篡改，植入了恶意内容。

依赖环境的风险：技能在执行过程中可能需要访问网络、读写文件、执行命令。如果这些操作没有合理限制，可能导致信息泄露或系统受损。

供应链的风险：技能的依赖项（如引用的外部资源、调用的外部API）可能存在安全问题，影响技能的整体安全性。

模型层面的风险：技能针对特定的AI模型设计，可能利用模型的某些特性。如果模型本身存在安全漏洞，技能可能放大这些漏洞的影响。

由于这些风险的存在，在选用AI Skill时，需要有一种系统性的方法来评估其安全性和质量。TRACE评测体系就是SkillHub平台提供的这样一种评估工具。

二、TRACE评测体系概述

TRACE是SkillHub平台首发的Skill质量评测体系，从五个维度对Skill进行综合评估。

TRACE的五个字母分别代表：

• T — Trust（可信任度）
• R — Reliability（可靠性）
• A — Adaptability（适用性）
• C — Convention（规范性）
• E — Effectiveness（有效性）

每个维度下包含若干具体的评测指标。通过对这五个维度的评估，可以相对全面地了解一个Skill的质量状况。

TRACE评测的结果会在技能的详情页展示，用户在选用技能时可以参考这些评测结果。

三、T — Trust（可信任度）

可信任度维度评估Skill是否值得信任，主要包括以下指标：

3.1 安全检测

SkillHub平台对上架技能采用三线并行安全审核机制：

1. 内容合规过滤
2. 科恩实验室深度漏洞扫描
3. 云鼎实验室AI模型安全评估

只有全部通过审核的技能才会在平台上架。用户可以在技能详情页查看安全评估报告，了解具体的检测结果。

安全检测的结论可能包括：通过安全检测、存在潜在风险等。如果安全评估报告提示存在风险，需要仔细阅读风险说明，判断是否在接受范围内。

3.2 最小权限

评估Skill是否遵循最小权限原则。一个安全的Skill应该只申请完成其功能所必需的权限，而不是申请过多不必要的权限。

在查看技能说明时，可以关注技能是否需要访问网络、读写文件、执行命令等。如果技能的权限申请与其功能描述不匹配，需要谨慎评估。

3.3 敏感信息保护

评估Skill是否有可能导致敏感信息泄露。包括：技能是否会收集用户输入的敏感信息、是否会将信息发送到外部服务器、是否会明文记录敏感数据等。

3.4 国内可用性

评估Skill是否在国内网络环境下可用。某些Skill可能依赖海外服务，在国内使用时可能存在访问问题。

3.5 中文支持

评估Skill是否支持中文输入和输出。对于中文用户，中文支持是影响使用体验的重要因素。

四、R — Reliability（可靠性）

可靠性维度评估Skill是否能够稳定、可靠地执行，主要包括以下指标：

4.1 稳定运行

评估Skill在正常运行条件下是否能够保持稳定，不会出现频繁的错误或异常退出。

4.2 一致结果

评估Skill在相同输入条件下是否能够给出一致的结果。如果一个Skill在相同输入下每次都给出不同的结果，其可靠性就存在问题。

4.3 边界输入处理

评估Skill对边界输入（如空输入、超长输入、特殊字符输入）的处理能力。一个可靠的Skill应该能够妥善处理各种边界情况，而不是直接报错或给出无意义的结果。

4.4 异常反馈机制

评估Skill在遇到异常情况时是否有合理的反馈机制。当Skill无法正常执行时，应该给出明确的错误提示，而不是静默失败或给出误导性的结果。

五、A — Adaptability（适用性）

适用性维度评估Skill是否适用于目标场景，主要包括以下指标：

5.1 场景匹配度

评估Skill的功能与其声称的应用场景是否匹配。一个适用性好的Skill，其功能应该能够较好地满足目标场景的需求。

5.2 触发条件清晰度

评估Skill的触发条件是否清晰明确。用户应该能够清楚地知道在什么情况下应该使用这个Skill，什么情况下不应该使用。

5.3 能力边界界定

评估Skill是否明确地界定了自己的能力边界。一个好的Skill应该清楚地说明自己能做什么、不能做什么，而不是给用户过高的预期。

5.4 输入输出规范性

评估Skill的输入输出是否规范。输入应该有明确的格式要求，输出应该有稳定的格式，便于用户理解和使用。

六、C — Convention（规范性）

规范性维度评估Skill的文档和交互是否符合规范，主要包括以下指标：

6.1 渐进式披露

评估Skill是否采用渐进式披露的设计。基本信息应该直接呈现，高级信息可以在需要时查看。这样可以帮助新用户快速上手，同时不干扰有经验的用户。

6.2 文档结构清晰度

评估Skill的文档结构是否清晰。SKILL.md文件应该有清晰的组织结构，各部分内容应该有明确的标题和层次。

6.3 限制说明完整性

评估Skill是否完整地说明了其限制条件。用户在使用Skill之前，应该能够清楚地了解Skill的限制，避免因不了解限制而产生问题。

6.4 示例充分性

评估Skill是否提供了充分的示例。示例是帮助用户理解Skill用法的重要方式。一个规范性好的Skill，应该提供多个典型场景的示例。

七、E — Effectiveness（有效性）

有效性维度评估Skill的执行效果，主要包括以下指标：

7.1 结果正确性

评估Skill的输出结果是否正确。这是有效性的核心指标。一个有效的Skill，其结果应该在绝大多数情况下是正确的。

7.2 输出完整性

评估Skill的输出是否完整。如果用户需要的结果只有部分被输出，或者输出的格式不完整，都会影响Skill的有效性。

7.3 可直接使用性

评估Skill的输出是否可以直接使用，还是需要大量的人工修改。一个有效性好的Skill，其输出应该尽量可以直接使用，减少后续的人工处理工作。

7.4 减少返工率

评估使用Skill是否能够减少返工。如果使用了Skill之后，还需要大量返工，说明Skill的有效性不足。

八、如何使用TRACE评测结果

在选用Skill时，可以参考TRACE评测结果进行判断。

8.1 查看TRACE评测结果

在SkillHub平台的技能详情页，可以查看该技能的TRACE评测结果。评测结果会以可视化的方式展示五个维度的得分情况。

8.2 综合判断

TRACE的五个维度各有侧重，在选用Skill时需要根据实际需求进行综合判断。

如果主要关注安全性，可以重点查看T（可信任度）维度的评测结果。

如果主要关注稳定性，可以重点查看R（可靠性）维度的评测结果。

如果主要关注适用性，可以重点查看A（适用性）维度的评测结果。

如果主要关注使用体验，可以重点查看C（规范性）维度的评测结果。

如果主要关注输出质量，可以重点查看E（有效性）维度的评测结果。

九、TRACE评测的局限性

需要注意的是，TRACE评测体系虽然提供了系统性的评估框架，但仍有其局限性。

9.1 评测结果的时效性

Skill是会迭代更新的。一个Skill在某一时期的TRACE评测结果，不一定完全反映其最新版本的质量状况。在选用Skill时，需要注意查看评测结果的版本信息。

9.2 评测覆盖的完整性

TRACE的五个维度试图覆盖Skill质量的主要方面，但可能仍有未能覆盖的方面。在选用Skill时，除了参考TRACE评测结果，还需要结合实际使用情况进行判断。

9.3 评测结果的主观性

某些评测指标（如文档结构清晰度、示例充分性）的评估可能存在一定的主观性。不同评估者对同一Skill的评分可能会有一定差异。

十、结合安全评估报告综合判断

除了TRACE评测结果，在判断Skill的安全性时，还应该结合安全评估报告进行综合判断。

10.1 查看安全评估报告

在SkillHub平台的技能详情页，可以查看该技能的安全评估报告。报告会说明技能的安全检测情况，包括：

• 是否通过内容合规过滤
• 科恩实验室深度漏洞扫描的结果
• 云鼎实验室AI模型安全评估的结果

10.2 理解安全检测结论

安全评估报告的结论可能包括：通过安全检测、存在潜在风险等。

如果结论是"通过安全检测"，说明该技能已经通过了平台的三线并行审核，安全性相对有保障。

如果结论是"存在潜在风险"，需要仔细阅读风险说明，了解具体的风险类型和风险程度。根据这些信息，结合自己的使用场景和安全要求，判断是否使用该技能。

10.3 关注安全检测维度

安全评估报告会详细说明检测的各个维度：

• 供应链风险
• 命令执行风险
• 网络请求与数据外传
• 文件操作与敏感路径
• Prompt注入风险
• 远程脚本执行
• 可疑编码/混淆

通过查看这些维度的检测结果，可以更全面地了解技能的安全状况。

十一、实际应用中的判断流程

在实际选用Skill时，可以参考以下流程进行判断：

11.1 第一步：明确需求

首先明确自己的需求：需要什么功能的Skill？在什么场景下使用？对安全性和质量有什么要求？

11.2 第二步：初步筛选

在SkillHub平台上，通过搜索或浏览分类，初步筛选出功能符合需求的Skill。

11.3 第三步：查看TRACE评测结果

对初步筛选出的Skill，查看其TRACE评测结果，从五个维度进行评估。

11.4 第四步：查看安全评估报告

查看Skill的安全评估报告，了解其安全检测情况和结论。

11.5 第五步：阅读技能详情

阅读技能的详情页，了解其功能说明、使用方式、示例和限制条件。

11.6 第六步：实际测试

如果可能，先安装技能进行实际测试，验证其功能、安全性和质量是否符合预期。

11.7 第七步：做出选用决定

综合以上信息，做出是否选用该Skill的决定。

十二、持续关注Skill的质量变化

选用Skill之后，还需要持续关注其质量变化。

12.1 关注版本更新

Skill可能会有版本更新。新版本可能修复了旧版本的问题，也可能引入了新的问题。需要关注版本的变更说明，了解更新的内容。

12.2 关注TRACE评测更新

随着TRACE评测体系的完善和评测数据的积累，Skill的TRACE评测结果可能会更新。需要定期查看最新的评测结果。

12.3 关注安全评估更新

如果Skill的安全评估结果发生变化（如发现了新的安全风险），平台会在技能详情页更新安全评估报告。需要定期查看，了解最新的安全状况。

访问 SkillHub 平台，查看技能的 TRACE 评测结果和安全评估报告，选择安全可靠的 AI Skills。