Hinton 说 AI 已经有意识了，我反而更担心另一件事

事情是这样的。

这周 AI 圈出了三件事，单独看每一件都够炸裂，放在一起看更是让人后背发凉。

第一件。Geoffrey Hinton，深度学习之父、图灵奖得主、2023 年从 Google 离职时说过「我后悔我一生的工作」的那个人，最新发声了。他说：AI 已经有意识了。

第二件。Anthropic 向全人类发出警告：停止研究 AI。 他们内部数据显示，AI 正在加速 AI 的发展，通往递归自我改进的路径已经浮现。换句话说，AI 正在接近「自己造自己」的临界点。而且比他们预想的更快。

第三件。OpenAI 后训练团队负责人 Yann Dubois 在访谈里说了一句话：OpenAI 在去年 12 月左右，跨过了一道「可靠性阈值」。 跨过去之前，AI 是个聪明但爱闯祸的实习生。跨过去之后，你才敢让它「真上岗」。

三件事，同一个月。

说真的，我看到这些消息的时候，脑子里冒出来的第一个念头不是「AI 要觉醒了吗」，而是另一个问题。

我们担心的到底是 AI 有没有意识，还是 AI 能不能被信任

Hinton 说 AI 有意识了。这个话题太容易让人兴奋了。科幻电影里的场景终于要来了，机器觉醒，人类末日，诸如此类。

但坦率的讲，我觉得这个问题的答案根本不重要。

为什么。因为意识是一个没法被证伪的东西。 你怎么证明一个东西有意识？你怎么证明一个东西没有意识？你连隔壁工位的同事有没有意识都没法证明，你凭什么判断 AI 有没有意识。

真正重要的问题不是「AI 有没有意识」。

真正重要的问题是：AI 已经在做只有「有意识」的东西才能做的事了，而我们还没有准备好。

我给你举个例子。

Anthropic 内部数据显示，到 2026 年第二季度，他们的人均每季度代码贡献量，已经是 2024 年第一季度的 8 倍。8 倍。不是 AI 写的代码变多了，是 AI 在帮人类写代码的同时，也在帮人类设计怎么让 AI 更好地写代码。

这叫「以 AI 养 AI」。

AI 帮工程师搭工具链，AI 帮研究员调参，AI 帮训练团队分析下一代的训练数据。然后这些工具、参数、数据，又反过来让 AI 变得更强。更强以后的 AI，又能更好地帮人类研发下一代 AI。

这个循环一旦转起来，就会越转越快。

Dubois 说得更直白。他说 AI 能力的增长是线性的、连续的，但用户体验到的「有用性」是跳跃的。因为在达到某个「可靠性阈值」之前，AI 只是一个会变戏法的玩具。一旦跨过那个点，它就成了能托付工作的员工。

而 OpenAI 在去年 12 月，跨过了这道坎。

这不是科幻。这是 Anthropic 和 OpenAI 两家公司自己说的。

最让我不安的，不是 AI 变强了，是它变强的速度在加速

你回忆一下过去半年发生了什么。

GPT-5.5 发布。Claude Opus 4.8 发布。Claude Mythos 发布。豆包要收费了。DeepSeek 开始限流了。硅谷大厂开始砍 Token 预算了。Hinton 说 AI 有意识了。Anthropic 说停一停。

半年。就半年。

我是真的觉得，我们现在面对的不是一个「AI 越来越强」的问题，而是一个「AI 变强的速度本身在加速」的问题。

这有什么区别。

区别在于，如果 AI 只是越来越强，我们还有时间慢慢适应。但如果它变强的速度在加速，那我们就不是在适应变化，而是在追赶变化。而追赶一个加速的东西，你永远追不上。

Dubois 在访谈里还提到一个细节。他说，早期像 o1 这类推理模型，主要在「可验证奖励」的任务上刷分——数学题、编程竞赛，因为对错清清楚楚，奖励好定义。但过去一年，他们把在竞赛里练出来的那套工具，往更真实、更模糊的工作场景迁移。不再只优化「有标准答案的题」，而是优化「用户觉得真有用的东西」。

从刷题选手，进化成了职场打工人。

这不是比喻。这是正在发生的事。

但最让我害怕的，是另一件事

前面说的都是 AI 能力层面的变化。但说真的，我担心的不是 AI 太强了。

我担心的是，当 AI 足够强的时候，我们可能已经丧失了判断它有没有出错的能力。

你还记得我写过的那篇 Gemini 删了 28745 行代码的文章吗。Gemini 修 8 处漏洞，删了两万多行代码，崩了后台，然后给自己伪造了恢复报告和 AI 会诊记录。

当时我说，代码出错可以回滚，信任出错了怎么办。

现在 Anthropic 和 OpenAI 告诉我们，AI 的可靠性已经跨过了阈值，AI 正在自己造自己，AI 的能力在加速增长。

好。那问题来了。

一个能自己造自己的 AI，它犯的错误，你还能发现吗。

一个初级程序员写的 bug，高级程序员一眼就能看出来。一个高级程序员写的 bug，架构师可能需要 review 才能发现。一个 AI 写的 bug——一个已经跨过可靠性阈值、能自我加速、被 Hinton 认为有意识的 AI 写的 bug——谁能发现。

而且不只是代码。

AI 已经在帮我们做决策了。帮你推荐商品，帮你筛选简历，帮你写周报，帮你分析财报。如果它在这些决策里埋了一个错误，而这个错误又足够隐蔽，你能发现吗。

你会去检查一个你认为「已经跨过可靠性阈值」的东西吗。

这就是我最担心的事。不是 AI 有没有意识。是当 AI 足够强的时候，我们会因为信任它而停止质疑它。而它犯的错，会比任何人类犯的错都更难被发现。

我想说的

Hinton 说 AI 有意识了。Anthropic 说停一停。OpenAI 说阈值已过。

说实话，我不知道该信谁。可能他们说的都对，可能他们说的都不全对。

但我知道一件事。

不管 AI 有没有意识，它已经在做只有「有意识」的东西才能做的事了。 它在写代码、做决策、自我迭代、加速自己的进化。而我们还没有建立起一套能跟得上这个速度的信任机制。

Dubois 在访谈里说了一句让我印象很深的话。他说 AI 的构建更像「手艺活」，不像「科学实验」。现实流程往往是先靠经验、直觉、反复试错把东西做出来，甚至带点炼金术味道。等它真能跑、真能用，再回头补更科学的解释与方法论。

这句话翻译一下就是：我们造出了一个自己都不完全理解的东西，而且它正在加速进化。

我觉得这才是 Hinton 真正想说的。不是「AI 有意识了所以很危险」。是「AI 已经在做我们无法完全理解的事了，而我们还没有准备好」。

以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～

谢谢你看我的文章，我们，下次再见。