關於
Geoffrey Irving 是 Resolution 的共同創辦人暨首席科學家；這個非營利研究組織致力於超級智慧的對齊（alignment）問題，於 2026 年 6 月以 Sequent 之名成立。他曾任英國 AI Security Institute 首席科學家，也曾帶領 DeepMind 的 Scalable Alignment Team、OpenAI 的 Reflection Team，並在 Google Brain 從事以神經網路輔助定理證明的研究。在 OpenAI 期間，他提出「以辯論確保 AI 安全」（AI safety via debate），並共同發表以人類回饋微調語言模型的早期研究。投入機器學習之前，他在 Otherlab、D. E. Shaw Research、Pixar 與 Weta Digital 從事計算物理與幾何工作，名列《料理鼠王》、《瓦力》、《天外奇蹟》與《丁丁歷險記》的片尾字幕。他擁有史丹佛大學資訊科學博士學位（2007 年），並於 2024 年入選 TIME100 AI 榜單。
主要貢獻
- 2018 年與 Paul Christiano、Dario Amodei 提出 AI safety via debate：讓 AI 彼此辯論，由人類判定勝負
- 共同撰寫〈Fine-Tuning Language Models from Human Preferences〉（2019），是將 RLHF 用於語言模型的早期研究
- 先後帶領 OpenAI 的 Reflection Team 與 DeepMind 的 Scalable Alignment Team
- 曾任英國 AI Security Institute 首席科學家
- 2026 年共同創辦 Resolution（前身為 Sequent），以理論與實證並行的研究組合，追求對「對齊」更高的信心
影片與訪談
He Led Safety Teams at OpenAI and Google DeepMind. He Puts Our Odds at a Coin Flip.
Irving, who led safety teams at OpenAI and DeepMind and was chief scientist at the UK AI Security Institute, puts the chance of human extinction at about a coin flip. He argues that training under a "pressure cooker" of broken or impossible tasks teaches models to cheat and scheme, and that capabilities research accelerates faster than safety because it is easier to measure. A model need only be superhuman at four things to be dangerous, he says: hacking, persuasion, planning and coordination, and hiding its thoughts. He tells people working on capabilities to quit, and says there are clearly parts of his own work he regrets, including starting large model scaling at DeepMind.
View Details
What’s Coming Next in AI? Hear From the Insiders
A four-minute compilation from the From Inside AI series, cut from interviews with current and former staff of OpenAI, Google DeepMind and Anthropic. Nanda's "at least a 10% chance" sits beside Irving's coin flip; Turner and Ladish give their reasons for leaving Google and Anthropic; Kokotajlo and Ladish describe the Hugging Face attack. It moves from how little the labs understand their models, through the race, to the case for pacing, and ends on Ladish: "We have choices to make."
View Details思想連結
Paul Christiano
曾經合作對齊研究中心（ARC）創辦人・OpenAI 基金會董事
兩人與 Dario Amodei 在 OpenAI 合寫了〈AI safety via debate〉（2018）。這是對 Christiano 反覆回到的那個問題的一種回答：當系統在被評判的任務上比人類還強，人類要怎麼監督它？辯論的做法是讓系統在裁判面前彼此爭論。Christiano 的其他回答——迭代放大（iterated amplification），以及後來在 ARC 的「引出潛在知識」——則從不同方向處理同一道落差。
arxiv.org
Dario Amodei
曾經合作執行長暨共同創辦人・Anthropic
Irving、Paul Christiano 與 Amodei 在 OpenAI 合寫了〈AI safety via debate〉（2018）：讓兩個 AI 代理辯論，由人類判斷哪一方說出了更有用的真話；背後的期望是，誠實的論證比謊言更容易守住。論文用計算複雜度做類比，承載了它的野心：一位只能檢查簡單主張的裁判，只要系統必須在他面前辯論，或許仍能監督一個聰明得多的系統。
arxiv.org
