圖靈獎(jiǎng)得主 Bengio 再創(chuàng)業(yè)：構(gòu)建下一代 AI 系統(tǒng)，啟動(dòng)資金已籌集 3000 萬(wàn)美元
剛剛，深度學(xué)習(xí)三巨頭之一、圖靈獎(jiǎng)得主 Yoshua Bengio 官宣再次創(chuàng)業(yè) —— 成立非營(yíng)利組織 LawZero，要構(gòu)建下一代 AI 系統(tǒng)，而且明確不做 Agent。
目前 LawZero 已通過(guò)多家慈善捐贈(zèng)方籌集到了 3000 萬(wàn)美元啟動(dòng)資金。
具體來(lái)說(shuō)，LawZero 要做“設(shè)計(jì)即安全（safe-by-design）”的 AI 系統(tǒng)，要“將安全性置于商業(yè)利益之上”。
所要做的 AI 系統(tǒng)非 Agent 形態(tài)，而可以監(jiān)督 Agent：
它以理解學(xué)習(xí)世界為核心目標(biāo)，而非在世界中采取行動(dòng)，通過(guò)透明化外部推理，對(duì)問(wèn)題提供可驗(yàn)證的真實(shí)答案，“可用于加速科學(xué)發(fā)現(xiàn)、為 Agent 型 AI 系統(tǒng)提供監(jiān)督，并深化大家對(duì) AI 風(fēng)險(xiǎn)及其規(guī)避方法的理解”。
Bengio 表示，當(dāng)前 AI 系統(tǒng)已顯現(xiàn)出自我保護(hù)和欺騙行為的跡象，隨著其能力和自主性的提升，這種趨勢(shì)只會(huì)加速，LawZero 是他們針對(duì)這些挑戰(zhàn)所給出的建設(shè)性回應(yīng)。
經(jīng)常有人問(wèn)我，對(duì) AI 的未來(lái)是樂(lè)觀還是悲觀？我的回答始終是：It doesn’t matter（無(wú)關(guān)緊要）。
唯一重要的是，我們每個(gè)人都能采取行動(dòng)，推動(dòng) AI 向更好的方向發(fā)展。
開(kāi)創(chuàng)「Scientist AI」
LawZero 總部位于蒙特利爾，最初由非營(yíng)利機(jī)構(gòu) Mila-Quebec AI Institute 啟動(dòng)孵化，Mila 現(xiàn)已成為 LawZero 的運(yùn)營(yíng)合作伙伴。
LawZero 所籌集的捐贈(zèng)資金，也是在項(xiàng)目孵化階段通過(guò) Mila-Quebec AI Institute 進(jìn)行的。
其首批支持者包括 Future of Life Institute、Open Philanthropy、Silicon Valley Community Foundation、前谷歌 CEO Eric Schmidt 創(chuàng)立的研究機(jī)構(gòu) Schmidt Sciences 等。
其中 Open Philanthropy 還是 OpenAI 的早期投資方。
Bengio 擔(dān)任 LawZero 主席兼科學(xué)總監(jiān)。
團(tuán)隊(duì)中已有超 15 名頂尖研究員。
他們的科學(xué)方向基于 Yoshua Bengio 所引領(lǐng)的全新研究方法 ——Scientist AI。
幾個(gè)月前，Bengio 曾發(fā)表過(guò)一篇長(zhǎng)達(dá) 58 頁(yè)的論文探討 Scientist AI。
Scientist AI 核心功能基于觀測(cè)解釋世界，而非通過(guò)行動(dòng)模仿或取悅?cè)祟?lèi)。
該系統(tǒng)包含兩大組件：世界模型、推理機(jī)。
世界模型能夠通過(guò)觀察數(shù)據(jù)生成因果理論，以此解釋數(shù)據(jù)背后的規(guī)律，構(gòu)建對(duì)物理與社會(huì)規(guī)律的結(jié)構(gòu)化理解，其運(yùn)作機(jī)制類(lèi)似于科學(xué)家通過(guò)觀察自然現(xiàn)象提出假說(shuō)并構(gòu)建理論體系。
推理機(jī)則是一個(gè)問(wèn)答推理機(jī)制。二者均以明確的不確定性概念為基礎(chǔ)，以降低因過(guò)度自信的預(yù)測(cè)引發(fā)風(fēng)險(xiǎn)的可能性。
Scientist AI 輸出僅限于對(duì)問(wèn)題的概率性解釋和基于理論的邏輯推斷，而不具備自主行動(dòng)的能力，由此來(lái)從根本上杜絕因目標(biāo)追求和環(huán)境干預(yù)引發(fā)的風(fēng)險(xiǎn)。
Bengio 團(tuán)隊(duì)表示，Scientist AI 可在以下三個(gè)核心領(lǐng)域發(fā)揮作用：
針對(duì)表現(xiàn)出自我保護(hù)、目標(biāo)偏離、欺騙等傾向的 AI 系統(tǒng)，Scientist AI 可通過(guò)雙重驗(yàn)證機(jī)制防范災(zāi)難性后果。
在高能力 Agent 型 AI 執(zhí)行現(xiàn)實(shí)行動(dòng)前，對(duì)其行為進(jìn)行風(fēng)險(xiǎn)評(píng)估，若超過(guò)預(yù)設(shè)閾值則直接阻斷。這一機(jī)制可有效遏制當(dāng)前前沿 AI 因自主性增強(qiáng)而日益凸顯的不可預(yù)測(cè)性風(fēng)險(xiǎn)。
不“以取悅?cè)祟?lèi)為訓(xùn)練目標(biāo)”，Scientist AI 可生成誠(chéng)實(shí)且可論證的解釋性假設(shè)，尤其在生物學(xué)、材料科學(xué)、化學(xué)等領(lǐng)域，可規(guī)避傳統(tǒng) AI 因“目標(biāo)對(duì)齊偏差”導(dǎo)致的研究風(fēng)險(xiǎn)，開(kāi)啟低風(fēng)險(xiǎn)加速探索的新范式。
可作為值得信賴的研究與編程工具，通過(guò)其透明化推理框架，為強(qiáng) AI 的開(kāi)發(fā)建立可審計(jì)的安全邊界，從源頭阻斷“欺騙性 Agent”的風(fēng)險(xiǎn)傳導(dǎo)，助力設(shè)計(jì)安全的人類(lèi)級(jí)智能，乃至安全的超級(jí)人工智能（ASI）。
職業(yè)生涯剩余時(shí)間全部投入 AI 安全
Bengio 最新創(chuàng)業(yè)引來(lái)不少網(wǎng)友關(guān)注，也引起了網(wǎng)友對(duì)其上次創(chuàng)業(yè)的討論。
確實(shí)，Bengio 并非第一次創(chuàng)業(yè)。
2016 年 10 月，Bengio 曾和 Jean-FrancoisGagné 等人聯(lián)合成立 Element AI，主要聚焦“人工智能戰(zhàn)略咨詢”、“專家匹配”和“AI-as-a-Service”（AIaaS）。
Element AI 曾一度成為“全球最大獨(dú)角獸”之一，僅僅成立 9 個(gè)月就籌集了 1.02 億美元的風(fēng)險(xiǎn)投資，不到 4 年時(shí)間里，融資約 2.6 億美元，微軟、英特爾、麥肯錫、加拿大政府等大型機(jī)構(gòu)均為其資方，估值高達(dá) 12 億美元。
不過(guò)，令人唏噓的是，2020 年 Element AI 傳來(lái)“僅以 2.3 億美元被拋售”的消息。《環(huán)球郵報(bào)》認(rèn)為，這家公司大肆招聘頂尖人才、大量進(jìn)行宣傳投資的行為，與它建立軟件[IT江湖]業(yè)務(wù)的初衷背道而馳。
連 Bengio 本人都否定了 Element AI 的價(jià)值。
如今新項(xiàng)目啟動(dòng)，Bengio 其實(shí)預(yù)謀已久。
2023 年初，ChatGPT 剛剛問(wèn)世幾個(gè)月，Bengio“AGI 發(fā)展緩慢而漫長(zhǎng)，需幾十年的時(shí)間才能實(shí)現(xiàn)”的觀點(diǎn)開(kāi)始轉(zhuǎn)變。私人實(shí)驗(yàn)室在 AGI 及更先進(jìn)技術(shù)方面已經(jīng)取得的進(jìn)展，讓他感到擔(dān)憂。
之后 Bengio 徹底重新調(diào)整了科學(xué)研究方向：
職業(yè)生涯剩余的時(shí)間全部投入到緩解這些風(fēng)險(xiǎn)上，努力探索一條能從設(shè)計(jì)上讓 AI 變得安全的道路。
目前網(wǎng)友對(duì) LawZero 持謹(jǐn)慎觀望態(tài)度，畢竟 OpenAI 最初也是以非營(yíng)利組織起家……
更有評(píng)論者直言：
LawZero 項(xiàng)目成功必然會(huì)將人類(lèi)的主動(dòng)權(quán)轉(zhuǎn)移給機(jī)器人，而這是應(yīng)竭力避免的趨勢(shì)，而非加速推動(dòng)。
OpenAI 的非營(yíng)利承諾早就變了味兒。現(xiàn)在，對(duì)這家圖靈獎(jiǎng)得主扛大旗的非營(yíng)利機(jī)構(gòu)，你怎么看？
參考鏈接：
[1]https://lawzero.org/en/news/yoshua-bengio-launches-lawzero-new-nonprofit-advancing-safe-design-ai
[2]http://arxiv.org/pdf/2502.15657
[3]https://news.ycombinator.com/item?id=44174643
本文來(lái)自微信公眾號(hào)：量子位（ID：QbitAI），作者：西風(fēng)，原標(biāo)題《圖靈獎(jiǎng)得主 Bengio 再創(chuàng)業(yè)：?jiǎn)?dòng)資金就籌集了 3000 萬(wàn)美元》
來(lái)源:IT之家
