AI 推理能力之爭(zhēng)：蘋(píng)果結(jié)論遭專(zhuān)家挑戰(zhàn)

IT之家 6 月 14 日消息，科技媒體 9to5Mac 昨日（6 月 13 日）發(fā)布博文，報(bào)道稱(chēng)蘋(píng)果公司 6 月 6 日發(fā)布的 AI 研究論文《The Illusion of Thinking》引發(fā)爭(zhēng)議，專(zhuān)家質(zhì)疑評(píng)估方法。

蘋(píng)果公司在論文中指出，即便是當(dāng)前最先進(jìn)的大型推理模型（LRMs），在復(fù)雜任務(wù)中也會(huì)崩潰。不過(guò) Open Philanthropy 的研究員 Alex Lawsen 對(duì)此提出詳細(xì)反駁，認(rèn)為蘋(píng)果的結(jié)論源于實(shí)驗(yàn)設(shè)計(jì)缺陷，而非模型推理能力的根本性局限。

爭(zhēng)議的焦點(diǎn)是蘋(píng)果論文指出，即便是當(dāng)前最先進(jìn)的大型推理模型，在處理漢諾塔問(wèn)題（Tower of Hanoi）等復(fù)雜任務(wù)時(shí)，也會(huì)出現(xiàn)徹底失敗的情況。

IT之家注：漢諾塔問(wèn)題是一個(gè)經(jīng)典的遞歸算法問(wèn)題：上帝創(chuàng)造了三根柱子，并在第一根柱子上按順序套有 N 個(gè)大小不同的圓盤(pán)（自下而上，圓盤(pán)由大到小，呈金字形）。

規(guī)定每次只能移動(dòng)最頂端的一個(gè)圓盤(pán)，并且保證整個(gè)過(guò)程中大圓盤(pán)不能放在小圓盤(pán)之上。欲將所有圓盤(pán)從第一根柱子移動(dòng)到第三根柱子，試給出解決方案。

Open Philanthropy 的研究員 Alex Lawsen 近日發(fā)布反駁文章《The Illusion of the Illusion of Thinking》，認(rèn)為蘋(píng)果的研究結(jié)果更多反映了實(shí)驗(yàn)設(shè)計(jì)的缺陷，而非模型推理能力的真正局限。他在文章中直言，蘋(píng)果的研究混淆了輸出限制和評(píng)估設(shè)置問(wèn)題，與實(shí)際推理失敗無(wú)關(guān)。

Lawsen 提出了三個(gè)核心問(wèn)題，挑戰(zhàn)蘋(píng)果的結(jié)論。首先，他指出蘋(píng)果忽略了模型的 Token 預(yù)算限制。在處理 8 盤(pán)以上的河內(nèi)塔問(wèn)題時(shí)，如 Anthropic 的 Claude Opus 等模型已接近輸出上限，甚至明確表示“為節(jié)省 Token 而停止”。

其次，蘋(píng)果的 River Crossing（過(guò)河）測(cè)試中包含無(wú)解謎題，例如 6 個(gè)以上角色搭配無(wú)法滿足的船只容量限制，模型因拒絕解答而被扣分。

最后，蘋(píng)果的自動(dòng)化評(píng)估腳本僅以完整步驟列表為標(biāo)準(zhǔn)，未能區(qū)分推理失敗與輸出截?cái)啵瑢?dǎo)致部分策略性輸出被誤判為失敗。Lawsen 認(rèn)為，這種僵硬的評(píng)估方式有失公允。

為支持觀點(diǎn)，Lawsen 重新設(shè)計(jì)了河內(nèi)塔測(cè)試，要求模型生成遞歸 Lua 函數(shù)來(lái)打印解法，而非逐一列出所有步驟。

結(jié)果令人驚訝：Claude、Gemini 和 OpenAI 的 o3 模型均能正確生成 15 盤(pán)問(wèn)題的算法解法，遠(yuǎn)超蘋(píng)果報(bào)告的“零成功”復(fù)雜性界限。

Lawsen 得出結(jié)論：去除人為輸出限制后，LRMs 展現(xiàn)出處理高復(fù)雜任務(wù)的推理能力，至少在算法生成層面是如此。這表明，問(wèn)題可能不在于模型本身，而在于評(píng)估方式。