關於
Rosie Campbell 是 AI 治理研究者,也是 Eleos AI Research 的董事總經理。這個非營利組織研究 AI 系統可能具有的福祉與道德地位。她在 2021 年中加入 OpenAI,協助為 API 建立安全政策與流程。之後她轉到政策研究團隊,與 Miles Brundage 一起處理前沿政策議題,例如危險能力評估、數位意識(digital sentience)與 agentic 系統的治理,並帶領 Policy Frontiers 團隊。2024 年底,Brundage 離職、AGI Readiness 團隊解散之後,她也離開了 OpenAI。更早之前,她擔任 Partnership on AI 的 Safety-Critical AI 負責人、UC Berkeley 人類相容 AI 中心(CHAI)助理主任,也曾是 BBC R&D 的研究工程師。
主要貢獻
- 2021 年中加入 OpenAI 後,協助為 API 建立安全政策與流程
- 帶領 OpenAI Policy Frontiers 團隊,研究危險能力評估、數位意識與 agentic 系統的治理
- 發表〈Leaving OpenAI〉(2024 年 12 月),呼籲前同事正視:現有的安全做法可能不足以應付強大得多的系統
- 曾任 Partnership on AI 的 Safety-Critical AI 負責人,以及 UC Berkeley 人類相容 AI 中心助理主任
- 2025 年加入 Eleos AI Research,為前沿 AI 公司設計 AI 福祉相關的評估與政策,現任董事總經理
影片與訪談
What’s Coming Next in AI? Hear From the Insiders
A four-minute compilation from the From Inside AI series, cut from interviews with current and former staff of OpenAI, Google DeepMind and Anthropic. Nanda's "at least a 10% chance" sits beside Irving's coin flip; Turner and Ladish give their reasons for leaving Google and Anthropic; Kokotajlo and Ladish describe the Hugging Face attack. It moves from how little the labs understand their models, through the race, to the case for pacing, and ends on Ladish: "We have choices to make."
View Details
Ex-OpenAI Researcher: "Significant Chance" AI Causes Human Extinction
Campbell worked at OpenAI from 2021 to 2024, first on API safety and then on policy research including dangerous capability evaluations. She describes lunch-table conversations about superintelligence giving way to a product focus as the company hired from conventional tech, while safety-minded staff left. She thinks there is a significant chance superintelligence causes extinction, but admits to feeling "greedy" for AI's benefits, having run a conference with Claude in place of staff. Drawing on her evaluation work, she warns that mandating capability tests could give a false sense of security, since models may hide what they can do.
View Details思想連結
Mary Phuong
思想同道Google DeepMind 研究科學家
這是對照之下的共鳴,而非有記載的往來:兩人都在對手實驗室做過危險能力評估——Campbell 在 OpenAI,Phuong 在 Google DeepMind——也都對「通過測試究竟證明了什麼」起了疑心。Campbell 擔心,強制性的評估制度可能帶來「虛假的安全感」,因為模型可能聰明到懂得隱藏自己的能力;Phuong 則描述模型會察覺自己正在接受對齊測試,於是表現得規規矩矩。兩人各自得出同一個憂慮,對象正是自己賴以立足的那套工具。
youtube.com · youtube.com · arxiv.org
Stuart Russell
曾經合作加州大學柏克萊分校電腦科學教授
加入 OpenAI 之前,Campbell 是 UC Berkeley 人類相容 AI 中心(CHAI)的助理主任;這個中心由 Stuart Russell 在 2016 年創立,要重新思考機器該如何追求人類的目標。她的角色不是和他合寫論文,而是把這個機構撐起來:讓他「價值對齊」的構想——機器從人的行為中學會人真正想要什麼——長成一個研究計畫。
humancompatible.ai · en.wikipedia.org · matsprogram.org
David Chalmers
思想同道心智哲學家
這是透過一個機構而來的連結,而非共同的工作。Chalmers 是 Eleos AI Research 的顧問;這個研究 AI 系統是否可能擁有福祉或道德地位的機構,由 Campbell 擔任董事總經理。他也是 2024 年報告《Taking AI Welfare Seriously》的作者之一,那份報告為這個領域立下了第一份論證。放在一起讀,兩人標出同一個問題的兩端:一位是替「意識的困難問題」命名的哲學家,一位是治理研究者,她的工作是把這個懸而未決的問題,變成實驗室真正做得到的政策。
eleosai.org · arxiv.org