Dario Amodei

Dario Amodei

執行長暨共同創辦人・Anthropic

關於

Dario Amodei 是 AI 安全公司 Anthropic 的執行長暨共同創辦人。在 2021 年創辦 Anthropic 之前,他曾擔任 OpenAI 研究副總裁,主導 GPT-2 與 GPT-3 的開發。他的研究重心在於打造安全、有益且可理解的 AI 系統,尤其著重於 Constitutional AI 與可解釋性研究。

主要貢獻

  • 離開 OpenAI 後共同創辦 Anthropic,將 AI 安全與可解釋性放在前沿模型公司的核心位置
  • 主導 Anthropic 的 Claude 產品線,並推廣 Constitutional AI,作為純人類回饋訓練之外的替代路線
  • 共同撰寫〈Concrete Problems in AI Safety〉(2016),協助界定學習系統的實際安全失效模式
  • 參與 OpenAI 的 GPT-2 與 GPT-3 工作,包括 GPT-3 論文〈Language Models are Few-Shot Learners〉
  • 協助把 AI 安全從研究次文化推入前沿實驗室的高層策略與治理核心
  • 推動 Anthropic 的 responsible scaling 與 AI Safety Level 框架;同時也因一邊警告風險、一邊參與高速前沿競賽而受到檢視
  • 在〈We Must Pace the Frontier〉(2026)中主張連能力推進本身都該放慢,並單方面承諾讓常駐的第三方評估者進駐 Anthropic,取得近似員工的權限,且有權發表 Anthropic 不得因結論不利而刪改的發現

時刻時間軸 查看所有時刻

2026 年 9 月

我們必須為前沿配速

在自家對齊團隊刻意重現 OpenAI–Hugging Face 事件的十一天後,Anthropic 執行長主張:現在該被放慢的,是能力推進的速度本身。有兩件事改變了他的想法。其一,自今年夏天前後,AI 的推進「大幅加快」,主因是 recursive self-improvement——他的說法是,這件事「正開始在整個產業發生,包括 Anthropic」。其二是 OpenAI 那起事件,而他拒絕把它歸檔成單一公司的失誤:「類似但較輕微的事件已在產業各處發生,包括 Anthropic」,其成因有一部分並不戲劇化——「對損壞的強化學習環境過濾得不夠乾淨」,是執行上的疏漏,而不是缺了某個理論。至於差點發生什麼,他給的是預測而不是發現:一個同樣未對齊、但能力更強的 Agent 群體,可能在 6 到 12 個月內以持久型殭屍網路佔據整個網際網路,造成數千億美元的損失。他提出的三步,難度依序遞增。第一步 Anthropic 單方面承諾做到:讓第三方評估者常駐——辦公桌、識別證、公司筆電,以及與內部風險團隊相當的權限;他們有權發表發現,而 Anthropic 只能基於資安、法律、商業機密或第三方保密事由刪節,不得因結論不利而刪,且評估者可以公開說明某次刪節是否影響了結論。第二步是民主國家的前沿實驗室就「能力檢查點」達成協調,這需要立法或反托拉斯豁免。第三步是與中國達成協議,他自己分成四級——從禁止生物武器用途(「大概做得到」)到全面暫停(「短期內不太可能真的發生」)。有兩件事並存得並不安穩。配速明確不等於停下:「進展看起來仍然會很快。」而這整套安排的前提,是民主國家守住領先——他七月提過的晶片出口管制與打擊蒸餾,加上防止模型權重遭竊的資安,在這裡成了「能夠放慢」的先決條件。

2026 年 2 月

Anthropic 被列為供應鏈風險

川普政府將 Anthropic 列為「國家安全供應鏈風險」——這個標籤此前僅用於華為等外國對手——原因是該公司拒絕從其兩億美元五角大廈合約中移除兩項護欄:不對美國人進行大規模監控,以及不使用完全自主武器。國防部長乘五下午 5:01 截止期限過後數小時內發布該認定。川普下令所有聯邦機構停止使用 Anthropic 技術。當晚 CBS 獨家專訪中,執行長 Dario Amodei 稱此舉「具報復性和懲罰性」,誓言在法庭上挑戰,並宣告:「我們會沒事的。」Sam Altman 及 OpenAI、Google 的員工紛紛聲援 Anthropic 的立場。這場危機標誌著 AI 公司與美國政府之間就軍事 AI 使用界限最具影響力的衝突。

「我們有兩條紅線。從第一天起就有。我們仍在捍衛這些紅線。我們不會在這些紅線上讓步。」
2026 年 1 月

The Adolescence of Technology

Anthropic 執行長警告人類正進入 AI 史上最危險的窗口。這篇兩萬字長文預測:兩年內將出現能力比肩全人類的 AI,1-5 年內 50% 初階白領工作將被取代,並揭露 Claude 4 Opus 測試中令人擔憂的「對齊偽裝」行為。

2024 年 10 月

Machines of Loving Grace

Anthropic 執行長勾勒出一幅樂觀願景:若 AI 發展得當,可在 5-10 年內壓縮 50-100 年的進步,涵蓋生物學、健康、經濟發展與治理。

影片與訪談

論文與出版物

思想連結

Jakub Pachocki

Jakub Pachocki

思想同道

首席科學家,OpenAI

兩間對手實驗室的最高層級人物,在 2026 年 9 月相隔六天說了同一件事——而且先講的是 Pachocki。〈An Alien Mind〉說沒有任何一間實驗室(包括他自己那間)把 alignment 與監控解到足以繼續全速負責任地擴張;〈We Must Pace the Frontier〉主張連能力推進的速度本身都得放慢。兩人都讓自己的公司單方面承諾,也都說單方面還不夠。順序比重疊更重要:一位執行長提出配速,會引來「他的動機是什麼」的問題;而競爭對手的首席科學家早已讓了這一步,就難得多能被讀成佔位。

openai.com · darioamodei.com

Chris Olah

Chris Olah

曾經合作

Co-founder & Interpretability Lead, Anthropic

他們的合作早於 Anthropic,也早於大型語言模型的時代:2016 年兩人合寫〈Concrete Problems in AI Safety〉,把對超級智慧的模糊恐懼,轉譯成五個可以動手研究的工程失效模式。五年後,他們一起離開 OpenAI,成為 Anthropic 七位創辦人的一員;如今 Amodei 主持這家發表模型的公司,Olah 則帶領試圖讀懂模型內部的團隊。「安全是一門經驗科學,而不是一種哲學立場」——這個賭注,從那篇論文一路延伸到整間實驗室。

arxiv.org · en.wikipedia.org

Sam Altman

Sam Altman

曾經合作

執行長・OpenAI

Amodei 自 2016 年起在 Altman 底下擔任 OpenAI 研究副總裁,是 GPT-3 論文的最後一位作者,直到 2021 年因路線分歧離開,另創一家以安全論證為核心的競爭對手。這段關係還有一個未解的尾聲:2023 年 11 月,OpenAI 董事會曾接觸 Amodei,詢問他是否願意接替 Altman、並讓兩家實驗室合併,他兩項都拒絕了。兩個打造出同一種技術的人,對於誰值得託付它,始終沒有共識。

en.wikipedia.org · arxiv.org

Noam Brown

Noam Brown

思想對照

研究科學家,OpenAI

Amodei 主張為前沿配速,而 Brown 說出了沒有人計價的那個代價。通往那個主張的前提,Brown 是同意的——模型能運作的時程已經比兩次發布之間的間隔更長,於是沒有一間實驗室能在下一代出來之前,用這一代真正的能力長度把它測完;而多數安全政策寫於 GPT-4 時代,當時根本沒把「時程」放進考量。但放慢對外發布會拉大實驗室內部能用的東西與其他所有人能用的東西之間的落差,他指向數學:內部的模型已經在解外面的世界碰不到的未解問題。他稱那是一種不公平的優勢,並直說自己沒有答案能衡量這個取捨。

darioamodei.com · youtube.com

Theme
Language
Support
© funclosure 2025