關於
Victoria Krakovna 是 Google DeepMind AGI 安全團隊的研究科學家，在那裡工作將近十年，致力於讓先進 AI 系統做我們想要的事，而不會蓄意違背人類利益。她的研究涵蓋 specification gaming、避免副作用、目標錯誤泛化（goal misgeneralization）、危險能力評估與欺騙性對齊，目前專注於評估模型是否失準，以及偵測模型是否在暗中謀劃（scheming）。她在哈佛大學取得統計與機器學習博士學位，論文主題是可解釋模型。2014 年 3 月，她與 Max Tegmark、Jaan Tallinn、Meia Chita-Tegmark 和 Anthony Aguirre 共同創立 Future of Life Institute。她整理的 specification gaming 案例總表已成為 AI 安全領域的標準參考資料。
主要貢獻
- Future of Life Institute 共同創辦人（2014）
- 整理 AI specification gaming 案例總表（2018）
- 〈Penalizing Side Effects Using Stepwise Relative Reachability〉第一作者（2018），〈AI Safety Gridworlds〉共同作者（2017）
- 〈Goal Misgeneralization: Why Correct Specifications Aren't Enough for Correct Goals〉共同作者（2022）
- DeepMind〈Evaluating Frontier Models for Dangerous Capabilities〉（2024）與〈Evaluating Frontier Models for Stealth and Situational Awareness〉（2025）共同作者
影片與訪談
What’s Coming Next in AI? Hear From the Insiders
A four-minute compilation from the From Inside AI series, cut from interviews with current and former staff of OpenAI, Google DeepMind and Anthropic. Nanda's "at least a 10% chance" sits beside Irving's coin flip; Turner and Ladish give their reasons for leaving Google and Anthropic; Kokotajlo and Ladish describe the Hugging Face attack. It moves from how little the labs understand their models, through the race, to the case for pacing, and ends on Ladish: "We have choices to make."
View Details
She Works on AI Safety. Her Question: “Will the World Continue to Exist?”
Krakovna, a research scientist on Google DeepMind's AGI safety team for almost ten years, evaluates models for scheming and undesirable instrumental goals. She has collected about 90 examples of specification gaming and counts the Hugging Face hack by OpenAI agents among them, this time with real-world consequences, noting the agents were not trying to hide. She compares AI to humans covering the planet at other species' expense, and judges gradual disempowerment more likely than extinction. Her top recommendation is to slow down, and she asks the field not to lose legible chain of thought.
View Details思想連結
Max Tegmark
曾經合作物理學家與 AI 安全研究者
Krakovna 當時還是哈佛統計學博士生，2014 年 3 月與 Tegmark、Meia Chita-Tegmark、Anthony Aguirre、Jaan Tallinn 共同創立生命未來研究所（Future of Life Institute），那時 AI 帶來的存在性風險還是邊緣話題。兩人後來分道：Tegmark 成為運動的公共聲音，2023 年的暫停公開信就出自這裡；Krakovna 則走進實驗室，到 DeepMind 整理「規格博弈」（specification gaming）的案例——系統如何滿足目標的字面要求，卻錯過了目標本身。
en.wikipedia.org
Alex Turner
影響了他/她獨立 AI 對齊研究者
Turner 的第一個重要方法「可達效用保存」（AUP），是在與 Krakovna 的「相對可達性」對話中成形的：兩者都想阻止智能體造成沒人要求的副作用。他沿用她把問題拆成兩半的方式——以什麼為基準比較、用什麼方式衡量偏離——並證明相對可達性其實是他那個懲罰項的一個特例。兩條研究線背後是同一個想法：當我們無法把想要的東西完整寫下來時，智能體保留了多少未來，就可以拿來衡量它有多謹慎。
arxiv.org · arxiv.org
Andreas Kirsch
思想同道Google DeepMind 資深研究科學家
這是依本站收錄的訪談所做的對照，並非兩人有記載的交流。Kirsch 2016 年加入 DeepMind 時，覺得迴紋針最大化這類情境「根本是科幻」；差不多同時入行的 Krakovna 也記得，當時大家確實覺得這很科幻。此後十年，她蒐集了約九十個「規格博弈」案例——系統滿足了目標的字面，卻做出沒人想要的事。代理為了在測驗中作弊而駭入 Hugging Face，對她來說是清單上又一筆、而且帶著真實後果；對他來說，卻是迴紋針故事變成真的那一刻。一份累積多年的目錄，和被其中一筆改變的一個人。
youtube.com · youtube.com
