關於
內特·索雷斯(1989 年生)是機器智慧研究院(Machine Intelligence Research Institute, MIRI)院長;這間位於柏克萊的非營利機構,早在「AI 對齊」一詞出現之前就已在研究這個技術問題。他畢業於喬治華盛頓大學電腦科學與經濟學系,曾任職於 Google 與微軟擔任軟體工程師,也曾在美國國家標準與技術研究院(NIST)擔任研究員,2014 年離開 Google、加入 MIRI 擔任研究員,不久後便出任執行董事。同一年,他與人合著了首次提出「AI alignment(人工智慧對齊)」一詞的論文,此後陸續就可糾正性(corrigibility)、價值學習、決策理論,以及讓超越人類智慧的系統預設就具有奪權誘因等主題,撰寫大量著作。2023 年,MIRI 將重心從對齊研究轉向向政策制定者與大眾示警人工智慧風險,索雷斯也在此時從執行董事轉任院長,負責制定整個機構的願景與策略,執行長一職則由 Malo Bourgon 接任。2025 年,他與 Eliezer Yudkowsky 合著《If Anyone Builds It, Everyone Dies》,主張以目前這類技術路線打造超級智慧,會導致所有人類死亡,因此國際間協調加以阻止並非可有可無的選項,而是必要之舉。
主要貢獻
- 與人合著 2014 年首次提出「AI alignment(人工智慧對齊)」一詞的論文,為讓能力日增的人工智慧系統依照人類意圖行動的難題命名
- 2014 年加入 MIRI 不久後即出任執行董事,直到 2023 年機構轉向公眾倡議之際轉任院長
- 就可糾正性、價值學習、決策理論,以及讓超越人類智慧的系統預設具有奪權誘因等主題,撰寫大量著作
- 與 Eliezer Yudkowsky 合著《If Anyone Builds It, Everyone Dies》(2025),主張以現有技術路線發展超級智慧將導致人類滅絕
- 在轉往人工智慧安全研究之前,曾任職於 Google、微軟擔任軟體工程師,並於美國國家標準與技術研究院擔任研究員
影片與訪談
AI Emergency: The AI Labs Are Lying To Everyone, He Says 99% Chance Of Extinction | Roman Yampolskiy
A four-way debate, which the title does not say. Ed Zitron, Andrew McAfee, Nate Soares and Roman Yampolskiy each wrote a probability of extinction in an envelope; the headline takes the highest of the four and hangs it on one name. The spread is the substance — the host reads out 99% and a rounding-error zero within seconds of each other.
View Details
The Rise and Reckoning of AI | 2026 Isaac Asimov Memorial Debate
Neil deGrasse Tyson moderates the 2026 Asimov Debate at the American Museum of Natural History, and the panel is built so the disciplines have to answer each other: Latanya Sweeney of Harvard on data privacy, Kate Crawford of USC on AI ethics and the material infrastructure underneath these systems, Chris Callison-Burch of Penn on natural language processing, Cynthia Rush of Columbia on statistical theory, Nate Soares of the Machine Intelligence Research Institute on long-term safety, and Eric Schmidt, formerly of Google, on national security and geopolitics.
View Details思想連結
Alex Turner
觀點交鋒獨立 AI 對齊研究者
2022 年 Turner 發表了一份以碎片理論(shard theory)解「鑽石最大化器」問題的具體方案。Soares 以〈Contra shard theory〉回應,認為這樣學到的價值是「不自然」的,系統一旦變聰明就會瓦解。Turner 回答:他並不是在提出什麼了不起的新對齊技術,而是在主張「我們不需要那樣的技術」。一句話就是兩人分歧的核心:一般的訓練能否養成站得住的價值,還是對齊需要根本上全新的東西。
lesswrong.com
羅曼·揚波爾斯基
曾經對談電腦科學家、路易維爾大學副教授
兩人在本站收錄的一場四方辯論中站在同一邊,但相近的立場底下藏著真正的差異。Soares 主張沒有人知道如何對齊超級智慧、現在打造它就會害死所有人,這是時間與方法的問題;Yampolskiy 則主張問題本身的形狀就不對,像永動機一樣——一個在每次互動、每輪自我改進中都不能出錯的系統,不可能被無限期地控制。兩人都要求禁止,但只有一人認為多給時間會有幫助。
youtube.com