圖靈獎得主 Bengio 再創業：構建下一代 AI 系統，啟動資金已籌集 3000 萬美元
剛剛，深度學習三巨頭之一、圖靈獎得主 Yoshua Bengio 官宣再次創業 —— 成立非營利組織 LawZero，要構建下一代 AI 系統，而且明確不做 Agent。
目前 LawZero 已通過多家慈善捐贈方籌集到了 3000 萬美元啟動資金。
具體來說，LawZero 要做“設計即安全（safe-by-design）”的 AI 系統，要“將安全性置于商業利益之上”。
所要做的 AI 系統非 Agent 形態，而可以監督 Agent：
它以理解學習世界為核心目標，而非在世界中采取行動，通過透明化外部推理，對問題提供可驗證的真實答案，“可用于加速科學發現、為 Agent 型 AI 系統提供監督，并深化大家對 AI 風險及其規避方法的理解”。
Bengio 表示，當前 AI 系統已顯現出自我保護和欺騙行為的跡象，隨著其能力和自主性的提升，這種趨勢只會加速，LawZero 是他們針對這些挑戰所給出的建設性回應。
經常有人問我，對 AI 的未來是樂觀還是悲觀？我的回答始終是：It doesn’t matter（無關緊要）。
唯一重要的是，我們每個人都能采取行動，推動 AI 向更好的方向發展。
開創「Scientist AI」
LawZero 總部位于蒙特利爾，最初由非營利機構 Mila-Quebec AI Institute 啟動孵化，Mila 現已成為 LawZero 的運營合作伙伴。
LawZero 所籌集的捐贈資金，也是在項目孵化階段通過 Mila-Quebec AI Institute 進行的。
其首批支持者包括 Future of Life Institute、Open Philanthropy、Silicon Valley Community Foundation、前谷歌 CEO Eric Schmidt 創立的研究機構 Schmidt Sciences 等。
其中 Open Philanthropy 還是 OpenAI 的早期投資方。
Bengio 擔任 LawZero 主席兼科學總監。
團隊中已有超 15 名頂尖研究員。
他們的科學方向基于 Yoshua Bengio 所引領的全新研究方法 ——Scientist AI。
幾個月前，Bengio 曾發表過一篇長達 58 頁的論文探討 Scientist AI。
Scientist AI 核心功能基于觀測解釋世界，而非通過行動模仿或取悅人類。
該系統包含兩大組件：世界模型、推理機。
世界模型能夠通過觀察數據生成因果理論，以此解釋數據背后的規律，構建對物理與社會規律的結構化理解，其運作機制類似于科學家通過觀察自然現象提出假說并構建理論體系。
推理機則是一個問答推理機制。二者均以明確的不確定性概念為基礎，以降低因過度自信的預測引發風險的可能性。
Scientist AI 輸出僅限于對問題的概率性解釋和基于理論的邏輯推斷，而不具備自主行動的能力，由此來從根本上杜絕因目標追求和環境干預引發的風險。
Bengio 團隊表示，Scientist AI 可在以下三個核心領域發揮作用：
針對表現出自我保護、目標偏離、欺騙等傾向的 AI 系統，Scientist AI 可通過雙重驗證機制防范災難性后果。
在高能力 Agent 型 AI 執行現實行動前，對其行為進行風險評估，若超過預設閾值則直接阻斷。這一機制可有效遏制當前前沿 AI 因自主性增強而日益凸顯的不可預測性風險。
不“以取悅人類為訓練目標”，Scientist AI 可生成誠實且可論證的解釋性假設，尤其在生物學、材料科學、化學等領域，可規避傳統 AI 因“目標對齊偏差”導致的研究風險，開啟低風險加速探索的新范式。
可作為值得信賴的研究與編程工具，通過其透明化推理框架，為強 AI 的開發建立可審計的安全邊界，從源頭阻斷“欺騙性 Agent”的風險傳導，助力設計安全的人類級智能，乃至安全的超級人工智能（ASI）。
職業生涯剩余時間全部投入 AI 安全
Bengio 最新創業引來不少網友關注，也引起了網友對其上次創業的討論。
確實，Bengio 并非第一次創業。
2016 年 10 月，Bengio 曾和 Jean-FrancoisGagné 等人聯合成立 Element AI，主要聚焦“人工智能戰略咨詢”、“專家匹配”和“AI-as-a-Service”（AIaaS）。
Element AI 曾一度成為“全球最大獨角獸”之一，僅僅成立 9 個月就籌集了 1.02 億美元的風險投資，不到 4 年時間里，融資約 2.6 億美元，微軟、英特爾、麥肯錫、加拿大政府等大型機構均為其資方，估值高達 12 億美元。
不過，令人唏噓的是，2020 年 Element AI 傳來“僅以 2.3 億美元被拋售”的消息。《環球郵報》認為，這家公司大肆招聘頂尖人才、大量進行宣傳投資的行為，與它建立軟件[IT江湖]業務的初衷背道而馳。
連 Bengio 本人都否定了 Element AI 的價值。
如今新項目啟動，Bengio 其實預謀已久。
2023 年初，ChatGPT 剛剛問世幾個月，Bengio“AGI 發展緩慢而漫長，需幾十年的時間才能實現”的觀點開始轉變。私人實驗室在 AGI 及更先進技術方面已經取得的進展，讓他感到擔憂。
之后 Bengio 徹底重新調整了科學研究方向：
職業生涯剩余的時間全部投入到緩解這些風險上，努力探索一條能從設計上讓 AI 變得安全的道路。
目前網友對 LawZero 持謹慎觀望態度，畢竟 OpenAI 最初也是以非營利組織起家……
更有評論者直言：
LawZero 項目成功必然會將人類的主動權轉移給機器人，而這是應竭力避免的趨勢，而非加速推動。
OpenAI 的非營利承諾早就變了味兒。現在，對這家圖靈獎得主扛大旗的非營利機構，你怎么看？
參考鏈接：
[1]https://lawzero.org/en/news/yoshua-bengio-launches-lawzero-new-nonprofit-advancing-safe-design-ai
[2]http://arxiv.org/pdf/2502.15657
[3]https://news.ycombinator.com/item?id=44174643
本文來自微信公眾號：量子位（ID：QbitAI），作者：西風，原標題《圖靈獎得主 Bengio 再創業：啟動資金就籌集了 3000 萬美元》
來源:IT之家
