OpenAI：現在只需 5~10 人即可從頭重建 GPT-4，發展瓶頸已經從“算力”轉變為“數據效率”
IT之家 4 月 11 日消息，OpenAI 開發 GPT-4 曾耗費了大量人力物力，而現在卻只需 5~10 人團隊即可從頭走一遍這個流程。
OpenAI 首席執行官薩姆?奧爾特曼（Sam Altman）今日在公司內部播客中披露，得益于 GPT-4.5 的技術突破，重建 GPT-4 大模型所需團隊規模已從數百人縮減至 5-10 人。
這一結論也獲得了 GPT-4.5 預訓練負責人亞歷克斯?佩諾（Alex Paino）、數據效率研究員丹尼爾?塞爾薩姆（Daniel Selsam）等核心成員證實。
丹尼爾表示，“當得知某項技術已被實現，其復現難度就會大幅降低。我覺得，只要有可能，這就是一種巨大的作弊碼。”
佩諾表示，GPT-4.5 的設計目標是比 2023 年 3 月發布的 GPT-4"智能 10 倍"，他還補充道，"通過這種 GPT 預訓練流程的優化，我們的規模也較之前拓展了 10 倍。"
此外，奧爾特曼還聲稱公司已突破 "算力制約" 瓶頸，而且他認為世界尚未真正理解這一轉變。在此之前，各大科技公司已相繼投入海量資金用于 AI 基礎設施建設，其中微軟、亞馬遜、谷歌和 Meta 四家科技巨頭 2024 年 AI 基礎設施資本支出預計達 3200 億美元（IT之家注：現匯率約合 2.34 萬億元人民幣）。
OpenAI 認為，技術瓶頸已從算力轉向數據效率領域（可能是指算力的邊際效用遞減，所以需要從算法方面尋求突破）。丹尼爾指出，當前 GPT 系列模型數據利用率存在 "洞察深度天然上限"。
"當算力持續擴張時，數據增長速度明顯滯后，最終形成發展瓶頸。要想突破這一限制，需要進一步實現算法創新，從同等數據量中榨取更高價值。"
相關閱讀：
來源:IT之家
