斯坦福大学与Goodfire AI等通过“机械可解释性”方法发现,Llama等模型在计算“8月过6个月是几月”时,内部会自动转化为十进制计算(8+6=14)再折算回2月。这种数学计算策略在处理星期和时间时被自发复用,表明大模型内部确实运行着某些抽象算法。
这引发了关于“推理”定义的争论。支持者认为模型在权重中涌现出了通用计算机制,完成了功能性推理,而非单纯预测下一个Token;怀疑者则指出这依然只是高维拟合,属于无法解密的代码黑盒,离真正的理解相去甚远。但这种隐性算法的发现,为我们解析AI黑盒提供了有力的物理证据。
cacm.acm.org/news/can-we-understand-how-large-language-models-reason/
#人工智能# #AI创造营# #大语言模型# #可解释性#