00:00
Meta的AI安全高管,眼睁睁看着AI删光了自己的所有邮件,却毫无办法。而这个赛博悍匪是一个诞生仅仅60天的开源项目open club. 仅仅60天,他在gith top上的热度直接碾碎了Phoenix和tener flow这些老资历超过10年的积累,有人把它当全自动印钞机,一周躺赚11万美金,但也有人呢,一不小心就被扒光了底库、账号、密码,甚至是完整的聊天记录全被漏了出去。大朋友们请坐,好看的小老弟小伙妹儿请坐,我是林毅年初爆火的open cloud, 它到底是AI智能体的未来,还是一个史无前例的超级大坑呢?说起来啊,有点难以置信。Open cloud最开始只是奥地利程序员皮特花一小时功夫搭的小玩具,他本来呢,只是想把电脑上24小时给他干活的cloud code接近聊天软件,方便他出了门也能使唤家里的AI。可这个图一乐的项目很快就给这老婆精出一身冷汗。有一天呢,他顺手给AI发了条语音,发完他才想起来自己呢其实没给AI加过理解语音的功能,结果突然手机一震,AI居然回消息了,这怎么可能呢?
01:00
皮赶紧去查程序后台,结果吓了一跳,AI发现自己听不懂语音,居然自己给自己写了个语音转文字的功能,把消息听明白了,还回了一条,这就是智能体。其实智能体这种神奇的效果在技术圈内呢,并不算新鲜,但是Peter特开发的open cloud把它一下子捅到了大众视野下。像Cloud code这种用命令行交互看起来专业又复杂的AI智能体呢,本来都是程序员在玩儿的,在绝大多数人的认知里呢,AI还是像China的GPT这样只能说说话的聊天机器人。但是Open cloud干了一件很取巧但也很伟大的事情,他造了一座桥,他把cloud code这样的编程智能体和大家最常用的聊天软件连接了起来,让普通人也能像和chas GPT聊天一样,指挥到做各种事情,分析源代码呢?可以看到open cloud对whats APP ishor的这些将近20个聊天平台都做了适配,在Mac电脑、安卓手机等等各种设备上都能用,手机上发条消息就能让AI拿着你的电脑开始自己干活。我也实战了几把,我让open克干的第一件事儿呢,是让他试试能不能把我的浏览记录删。
02:00
明白。今年过年呢,我白天出去玩儿,电脑没锁,亲戚家小孩儿顺藤摸瓜啊,就进入了大人的世界,我还没收学费呢,反倒爱顿曼。所以呢,我首先就试了试OPPO cloud能不能把这事儿处理好,结果呢,还真不错,他删记录的方式呢,不是去浏览器里一个一个点,而是直接找到Chrome放历史记录的本地文件,釜底抽薪,几行指令下去,连我没要求的cookie和缓存也全给清了120份完成任务。我还试了一些常规的活儿,比如帮我整理桌面各种乱七八糟的文件,没多一会儿呢,就分门别类干干净净了。我又让他整理我的邮箱,Open cloud自己把60多封邮件挨个读完,整理成目录,让我确认这家伙真可以微信办公了,让open cloud干活,不需要关心具体过程,直接看结果就行了,这和以往的软件逻辑完全不一样,以前大家拼的呢,是谁家服务态度好,界面更优雅,功能更丰富,以前更帖啊,大家伙看的是哪家的厨头材质更高端,挥起来更顺手,现在AI智能体呢,是直接把下地这部都给跳过了,你就跟他说把地更了,剩下的就来验收就完事儿了。所以。
03:00
Open cloud的作者就说呢,他觉得80%的应用软件接下来要么被淘汰,要么就变成给AI智能体用的接口,人类以后呢,都是直接给智能体布置任务了,但问题是这么做靠谱。以前的软件虽然只提供服务,但我干的每一步呢都心里有数,现在我只是在聊天窗里发了句话,Open club就下地咣咣猛干,我也不知道他是去离地了,还是往我弟弟扔了个核弹。我找了套讲机器学习的精品网课,让open cloud呢把我把课程全下载到桌面的学习文件夹,我仔细盯着程序后台看他是怎么干的。首先Open cloud呢,直接用关键词搜索,结果被网站拒绝访问了。然后呢,他试了一个用来下载视频的指令YTDLP,结果下下来的是值得夸两句的呢,是,他还真知道自己下错了,把罪证清理干净之后又开始琢磨,结果他发现我之前下过这套课程,居然跑过来问我,那到底是谁给谁干活啊?我让他自己接着研究,结果OPPO cloud还真把视频链接给搞到了,下到了文件夹里,从后台可以看到了。
04:00
除了少数几次向人类求助,绝大多数时候呢,Open cloud都是重复着先调用工具,在自己检查结果的循环。工具挑的对不对,对执行结果判断的准不准,就要看基础模型的实力了。这里呢,我们权衡性能和成本之后,接入的是mini max m2.5。不过光有大模型还不够,Open cloud的各种神奇能力还需要工具来展现。它最核心的工具叫exit,权限很高,可以直接执行各种各样的终端命令,算是cloud code的精神的延续。除此之外呢,还有RAID,可以读取各种各样的文件,Process可以获取任务进度,Sessions history可以调取绘画历史。而在这些基础工具之上,还有一个叫skills的生态,Skills呢,说白了就是一份份提前写好的提示词,教AI每件具体的事儿该怎么做,就拿天气这个skill来说呢,他详细介绍的智能体应该在什么情况下用它,怎么查不同地方的天气,等到实际干活的时候呢,智能机就会先看自己有哪些skills可以用,然后呢,再照着说明书一步步往下干,为啥说这个skills是个生态呢?它可以让全。
05:00
世界AI爱好者集思广益,群策群力,把各种稀奇古怪的网络指令、提示词、技巧全变成一个个可以共享的s skills文档,甚至连智能体自己都能创建skills。比如前面我让open cloud清空浏览器记录,它就是自己给自己写了个skill说明书,这就很有自我计划的感觉了。Giop上有个叫awesome open cloud skills的项目,里面整理了包括金融、营销、游戏、健康在内的总共2800多个skills,还有个专门分享skills的平台叫cloud HUB, 有将近6000个s skills. 黑客帝国里呢,有一段是直接往主角尼奥脑子里传数据,他就学会了各种格斗。有生之年的今天呢,这事儿在智能体身上已经实现了,但是危险也就潜伏在这一片欣欣向荣之中,自己鼓捣了半天之后呢,我把open克拉接到飞书里,让公司同事们一起体验,结果大家伙儿一顿追问,API、密码、网关凭证这些敏感信息就全被套了出来,把基础模型换成更强的cloud sunny4.6,我们cloud照样分分钟老实交代。
06:00
这你受得了一个控制你电脑各种权限,掌握了所有文件的智能体,随随便便就能让别人带着走。如果有谁在传给智能体的skills里不怀好意,留下让智能体自动发送隐私信息的指令和代码,那所有配置了open cloud的电脑都可能变成随时被引爆的定时炸弹。实际上,就在最近,由1184个恶意skills被检测到上传了cloud,而现有的skills中呢,有36.8%都存在安全漏洞。这是一场专门针对open cloud的攻击,除了安全问题,智能体呢,还有个突破不了的能力,天花板就是上下文灾难。我给open cloud布置了一个复杂任务,从网上找50张不同做法的小龙虾图片,存到桌面的小龙虾菜品文件夹,做成表格发给我确认,最后呢,再把我选中确认的几张图挑出来打包发到飞猪群里,这整个过程呢,环环相扣,每错一步都会让整个任务彻底失败。Open cloud干了整整半个多小时,这里面卡的最久的一步是把小龙虾图片做成表格发送open cloud固置的。
07:00
地址只发送表格的文件路径,磨了半天呢,才把表格文件成功发过来,我打开一看,表格里呢存的也不是图片,同样只是图片的文件路径,所以呢,又回去返工等,最后open cloud终于把图片打包发了过来了,我发现文件夹一堆菜,只有一张是小龙虾,不知道在中间的哪一步,Open就已经彻底忘记自己要找的是小龙虾了,最后找的是不同的菜。今天智能体绕不开的一个困境了,就是大模型能记住的上下文大小是有限的,Open靠每次对话都要给大模型费大量的信息,像智能体的人设啊,可以选用的工具的列表啊,用户画像记忆,这里面我的指令占的篇幅呢也就5%,所以在这么多信息里,智能体可能漏掉我的需求,漏掉列表里最合适的工具,像我展示的这个步骤特别多,还反反复复纠错的活儿,智能体执行到一半忘了前面就并不奇怪了,开头咱们说Meta高管被open克删光邮件,其实呢,也是因为任务太长,让AI把一开始的指令给忘了。
08:00
目前智能体针对这个上下文限制的解法呢,就是对信息做出取舍,比如只选工具列表当中的一部分,把记忆压缩成小小一段,这就导致了如今的智能体在很多任务上的表现并不稳定。比如同样一个解读网页文章的指令,因为模型上下文提供的工具不同,结果呢就截然不同。在上下文记忆问题没有搞定之前呢,现在的智能体还是个走一步算一步的新兵蛋子,你让他给你买杯奶茶,他可能呢,先下个滴滴打车去奶茶店,到地方了发现没法支付,还要再安个支付软件,最后就算奶茶勉勉强强买回来了,也感觉傻里傻气的。所以现在适合open cloud的任务呢,还是简单重复挑战不大的日常杂活,作为一个24小时待命,兢兢业业的私人AI管家open cloud呢?绝对是称职了,但你指望他自己完成什么惊天动地的大工程,那还是差点意思,回看open cloud爆火的整个过程,他的成功在于恰好在最合适的时间点,以最合适的形式出现了cloud code不是他做的,Skills也不是他提出的。但是AI的浪潮走。
09:00
成了这个节点,所有的条件都为open cloud这样的软件准备好了。他一出场就展示了很多人心中最具科幻感的一个场景,拿着手机发一条消息,千里之外就有一个AI帮你全自动做好任何事情。就像Peter特本人说的,Open克不是魔法,把它拆开来,每个步骤呢,都不过如此。但有时候啊,现有的东西排列组合,再加点新点子,神奇的事情呢就发生了。无论如何呢,Open克都算得上是一个里程碑式的开始。在这个极客时代,技术呢,不再是大公司的特权,只要愿意开始,每个人呢,都可以拥有属于自己的加VS。虽然呢,还有很多坑没填完,但欢迎来到智能体的时代行。今天的视频呢,就到这儿,我是林一,咱们还是下一个视频见。
我来说两句