二、把自己蒸馏成一个.skill很多人都是【把老板蒸馏成Skill】、【把前任做成.skill】,我是把自己蒸馏成了一个.skill。 (1)准备蒸馏素材:过去3个月的周报/月报(Word、Markdown都可以,我用的Markdown);一些钉钉/微信里对项目的发言截图;几个口头禅/吐槽句式;项目目录结构+Git提交记录。 (2)QClaw里建立Skill目录。 QClaw所在机器的skills目录下,新建一个文件夹me-report-skill,结构是:展开代码语言:TXTAI代码解释/skills└──me-report-skill├──SKILL.md└─ :能识别当前网页标题、URL;文本总结Skill:能对网页/文本做摘要;Markdown记事Skill:能往指定文件追加内容。
最近爆火的 同事.skill 直接站在巨人肩膀上操作就完事了 ,针对同事资料生成的 skill,那么我们就不一样了我们就弄一个通用的 任意 人物/主题的蒸馏器 首先使用 codebuddy 开发蒸馏. + 1 个交叉验证 Agent , MVP 开发任务拆解最终出来了一个 MVP 蒸馏 SKILL, 然后我将它改成了 蒸馏.skill 详情看 怎么开始用章节 并且生成系统提示词版本提供给 QClaw 明确人物 - “蒸馏芒格” - “做一个乔布斯视角 skill” - “生成一个段永平的 skill” 2. 蒸馏.SKILL的工作方式像考古学家还原古代智者,只不过用的是AI。 蒸馏.SKILL用了一个叫"三重验证"的方法。
开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0做 SEO 这么久,一直想要一个既专业又省事的审计工具。 超简单,两种方式:方式 1: CLI(推荐)npx skills add JeffLi1993/seo-audit-skill# 或者安装指定版本npx skills add JeffLi1993/seo-audit-skill --skill seo-auditnpx skills add JeffLi1993/seo-audit-skill --skill seo-audit-full方式 2: Claude Code 插件 /plugin marketplace add JeffLi1993/seo-audit-skill/plugin install seo-audit-skill然后直接对话:audit this page 项目结构seo-audit-skill/├── seo-audit/│ ├── SKILL.md # Skill 定义 + agent 工作流│ ├─
当你出于内网环境中时可以通过mstsc来对目标主机内网服务端口是否开发进行简易探测,探测手法如下:
获取Windows用户的凭证信息是渗透过程中至关重要的一步,如果没有杀软,那么只要有权限想怎么读就怎么读,当有杀软时就得用一些特别的技巧,本篇文章将简单介绍几种之前在Twitter上看到的小技巧,仅供大家参考
,可以分为离线蒸馏,在线蒸馏和自蒸馏。 感性上理解三种蒸馏方式: 离线蒸馏可以理解为知识渊博的老师给学生传授知识。 在线蒸馏可以理解为教师和学生一起学习。 自蒸馏意味着学生自己学习知识。 1. 早期的KD方法都属于离线蒸馏,将一个预训练好的教师模型的知识迁移到学生网络,所以通常包括两个阶段: 在蒸馏前,教师网络在训练集上进行训练。 使用在线蒸馏的时候,教师网络和学生网络的参数会同时更新,整个知识蒸馏框架是端到端训练的。 自蒸馏 Self-Distillation 在自蒸馏中,教师和学生模型使用相同的网络。自蒸馏可以看作是在线蒸馏的一种特殊情况,因为教师网络和学生网络使用的是相同的模型。
知识蒸馏概述 蒸馏指的是把不纯净的水加热变成蒸汽,蒸汽冷凝之后变成冷凝水。知识蒸馏也是把有杂质的东西,大的东西变成小的东西,纯的东西。 把一个大的模型(教师模型)里面的知识给萃取蒸馏出来浓缩到一个小的学生模型上。 教师网络是一个比较大的神经网络,它把知识传递给了小的学生网络。这个过程称之为蒸馏或者叫迁移。 这就是知识蒸馏的核心目的。 现在的预训练大模型的参数往往都是成指数型增加。 知识蒸馏的过程 我们来看一下学生网络、教师网络到底是怎么样来进行蒸馏学习的,首先有一个已经训练好的教师网络,然后我们把很多数据喂给教师网络,这里会给一个温度为t的时候的softmax。 知识蒸馏是把一个模型的知识迁移到另一个模型上。 知识蒸馏的原理 上图中大的绿色的矩形为非常大的教师网络,中间的蓝色的矩形是学生网络。
同事 skill 刷屏后,我开源了自己的 skill——这是我的理由 4 月初,Twitter 中文圈被一条推文刷屏了。同事.skill——把同事的工作能力和风格蒸馏成 AI,离职了也能"留下来"。 紧接着,同事.skill、老板.skill、前任.skill、自己.skill、反蒸馏.skill——一套"人格蒸馏全家桶"在三分钟内完成全网分发。 三、开源 shadow.skill:主动蒸馏 vs 被动被蒸馏 在这场蒸馏浪潮里,我选择了一个不同的姿势——开源我自己的 skill。 这是我主动把自己蒸馏出来,放到社区里供人使用和迭代。 为什么? 第一,主动蒸馏,意味着你在定义自己被蒸馏的方式。 反蒸馏.skill 的真正价值,不是"对抗公司",而是让你意识到你有权决定交出什么、保留什么。 而 shadow.skill 提供的视角是: 主动蒸馏自己,是最有主动权的姿势。
一个是知识蒸馏的方法用于深度学习,同时也需要深入学习;另一个则是本文的核心:蒸馏中如何合理运用温度,让隐藏的知识更好地挥发和凝结。 蒸馏模型 模型蒸馏或知识蒸馏,最早在 2006 年由 Buciluǎ 在文章 Model Compression [14] 中提出(很多博主把人名都写错了。 先简要概括一下模型蒸馏在做什么。出于计算资源的限制或效率的要求,深度学习模型在部署推断时往往需要进行压缩,模型蒸馏是其中一种常见方法。 对于相同的输入,让学生输出的概率分布尽可能的逼近教师输出的分布,则大模型的知识就通过这种监督训练的方式「蒸馏」到了小模型里。 后话 写完这篇文章才发现,潘小小【经典简读】知识蒸馏(Knowledge Distillation)经典之作 [17] 一文中已有类似的探讨。
QClaw龙虾技能工坊:一键蒸馏文献成专属Skill,毕业论文全流程自动化通关!谁懂啊家人们!毕业论文、英文文献、答辩焦虑……毕业季的每一步都在渡劫? 不仅能陪跑论文全流程,更能把海量文献一键蒸馏成专属Skill,从此论文、答辩、文献阅读全自动化,让你躺着毕业! 龙虾神技1:文献自动蒸馏Skill,打造你的专属论文知识库还在一篇篇啃文献、手动整理知识点? ✨蒸馏后Skill的自动化能力:自动文献问答:直接问Skill「这个领域的核心理论有哪些?」「XX学者的核心观点是什么?」 使用方法:AI自动蒸馏,10分钟生成专属论文Skill”示例指令:帮我写一个自定义Skill,把零散的文献知识凝练成一个专属「论文Skill」,实现快速问答,所有参考文献我都放在了这个目录下面C:\Users
这时候,你需要的就是 Skill。 什么是 Skill Skill 是 Claude Code 的一种扩展机制,本质上是一个包含指令的 Markdown 文件。 一个 Skill 文件长这样: --- name: my-skill description: 这里描述 Skill 的功能和触发时机 --- # Skill 标题 具体的指令内容... 今天介绍的是最基础的 Skill 用法:一个 SKILL.md 文件搞定一切。但 Skill 的能力远不止于此。 下篇预告 下一篇文章,我们会深入 Skill 的进阶用法: 如何在 Skill 中引用外部脚本 如何组织多文件资源(模板、配置、文档) 如何让 Skill 调用 MCP 工具 实战案例:创建一个带模板的周报生成 Skill 敬请期待。
1.1 模型蒸馏原理知识蒸馏是一种模型压缩常见方法,指的是在teacher-student框架中,将复杂、学习能力强的网络(teacher)学到的特征表示"知识"蒸馏出来,传递给参数量小、学习能力弱的网络 实验表明通用蒸馏阶段和任务蒸馏阶段的蒸馏loss不匹配时,学生模型的效果会受到影响。 具体来说,第一阶段,General Distillation,在预训练的老师、一般数据和潜在蒸馏损失的指导下进行蒸馏。 如果已提供的通用蒸馏学生模型尺寸符合需求,用户可以主要关注接下来的任务蒸馏过程。 教师模型和通用数据继续用通用蒸馏的方式蒸馏学生模型,进一步提升学生模型的效果;a.
但当你了解更多细节之后,skill其实就是prompt工程的新发展。 例如当前很火的pua, 该项目已经达到了10k ⭐事实上他的实现就是一个好的prompting工程 (有兴趣的同学也可以去做一些开源的skill去丰富自己的简历)可复用的skill也迅速加快了人们对他的使用 例如在一个对话场景中,如果我们希望有pua的skill注入,我们还需要去手动修改prompt,一旦有一个新的skill,就得重复、反复的修改,这不仅是一个繁杂的工作,而且对于无需使用的skill还会导致上下文爆炸 → Skill Routing → Skill 选择 → Prompt Augmentation → 现有 LLM 应用的流程,以低侵入的方式直接接入ai应用中from skill_adapter import = SkillConfig( skill_dirs=[".
本页目录 Toggle 安装技能Cli 找技能 推荐的热门Skill Codex强制安装 技能是 AI 智能体可复用的能力。只需一条命令即可安装,让你的智能体获得流程性知识,从而实现能力增强。 frontend-design 选择你的AI IDE,回车、选择Global、选择Yes、 npx skills add https://github.com/anthropics/skills --skill 选择后,后续AI的IDE就会使用此Skill 推荐的热门Skill # 前端设计 npx skills add https://github.com/vercel-labs/agent-skills - -skill web-design-guidelines # 前端设计(这个排名似乎不搞,但是好像挺不错的。) codex --force 还有一个办法就是:你丢给skill的项目链接,让Codex自己安装Skill。
文章目录 1.命令简介 2.命令格式 3.选项说明 4.常用示例 参考文献 1.命令简介 skill 命令用于向选定的进程发送信号。 2.命令格式 skill [signal] [options] expression 默认信号为 TERM。 expression 可根据不同选项来区分类型,可以是:终端、用户、pid、命令。 skill -STOP bash (4)唤醒暂停的进程(进程名)。 skill -CONT bash (5)停止指定用户的进程。 skill -STOP -u <user> (6)停止所有在 PTY 装置上的程序 skill -KILL -t pts/* (7)暂停所有的 ls 命令进程,而不是 ls 用户。 skill -STOP -c ls 参考文献 skill(1) - Linux manual page - man7.org
1.1 模型蒸馏原理 知识蒸馏是一种模型压缩常见方法,指的是在teacher-student框架中,将复杂、学习能力强的网络(teacher)学到的特征表示"知识"蒸馏出来,传递给参数量小、学习能力弱的网络 实验表明通用蒸馏阶段和任务蒸馏阶段的蒸馏loss不匹配时,学生模型的效果会受到影响。 具体来说,第一阶段,General Distillation,在预训练的老师、一般数据和潜在蒸馏损失的指导下进行蒸馏。 如果已提供的通用蒸馏学生模型尺寸符合需求,用户可以主要关注接下来的任务蒸馏过程。 fine-tuned教师模型和通用数据继续用通用蒸馏的方式蒸馏学生模型,进一步提升学生模型的效果; a.
蒸馏扩展定律的外推。蒸馏扩展定律适用于一系列损失为 LT 的教师的弱学生模型(L_S > 2.3)。 如果要蒸馏多个学生模型,或者已有教师模型,蒸馏在计算水平上优于监督预训练,直到计算水平随着学生模型规模的增加而可预测地增长。如果要蒸馏一个学生模型且还需要训练教师模型,则应采用监督学习。 此外,作者在大规模蒸馏研究中提供了深入的见解,这些见解增加了我们对蒸馏的理解,并为实验设计提供了信息。 老师已经存在,或者要训练的老师有超出单次蒸馏的用途。 新的定律和分析有望指导 AI 社区构建更强大的模型,实现更低的推理成本和总计算成本。 蒸馏扩展率 文章概述了他们如何得出蒸馏扩展率所采取的步骤。 本文的目标是理解教师模型在蒸馏过程中的作用,因此,该研究在纯蒸馏情况下(λ = 1,公式 7)进行蒸馏,以避免数据带来的混淆。本文验证了 λ = 1 的选择能够产生与最优 λ∗ 统计相似的结果。
知识蒸馏系列文章继续更新啦!在上一篇文章中,我们介绍了三类基础知识蒸馏算法,今天我们一起来学习知识蒸馏的迁移学习应用。 本文内容 1 前言 2 蒸馏特征的迁移学习 3 蒸馏参数的迁移学习 4 总结 1. (feature-based)的知识蒸馏 基于样本或特征层间关系(relation-based)的知识蒸馏 1.3 蒸馏知识迁移的优点及应用领域 相对于基于实例的迁移和基于关系的迁移,蒸馏知识迁移具有的主要优势如下 蒸馏特征的迁移学习 蒸馏特征的迁移学习通过在源域教师模型和目标域学生模型间寻找输出 logits 或中间层特征作为迁移目标的蒸馏知识,实现不同数据域和任务域间的教师—学生关系间的知识蒸馏。 MMRazor 库中实现了蒸馏算法中蒸馏模型结构 distiller、蒸馏特征对齐模块 connector、特征信息传递 recorder、蒸馏损失 loss 的功能抽象解耦和可配置解析,让你可通过配置文件自由调整教师模型向学生模型迁移中的特征选取和特征对齐方式
为什么要自己写 Skill? OpenClaw Skill 的结构(比你想的简单)一个 Skill 其实就是一个文件夹,核心只需要一个文件:perl 体验AI代码助手 代码解读复制代码my-smart-reviewer/├── SKILL.md 第一步:写 SKILL.md这是我的 smart-reviewer Skill 的 SKILL.md:markdown 体验AI代码助手 代码解读复制代码---name: smart-reviewerdescription Skill进阶:让 Skill 支持配置如果你想让用户自定义参数,可以在 SKILL.md 里加配置声明:yaml 体验AI代码助手 代码解读复制代码---name: smart-reviewerconfig 小结自己写 OpenClaw Skill 远没有想象中那么难,核心就是一个 SKILL.md 文件 + 可选的脚本。
4 蒸馏的策略 根据教师模型是否与学生模型同时更新,知识蒸馏的学习方案可以直接分为三大类:离线蒸馏,在线蒸馏和自蒸馏,如图6所示 ? 在线蒸馏中,教师模型和学生模型同时更新,整个知识蒸馏框架是端到端训练的。 它也可视为在线蒸馏的特殊情况。 为了进一步直观地了解蒸馏,还可以从人类教师-学生学习的角度总结离线,在线和自蒸馏。 离线蒸馏意味着知识渊博的老师向新生传授知识;在线蒸馏是指师生在老师为主要监督下互相学习;自蒸馏是学生无需老师就能自学知识。这三种蒸馏方法可以结合起来进行优势互补。 6 蒸馏算法 7 蒸馏应用