那個 10%，和一場沒有對上的爭論
七月的 OpenAI–Hugging Face 事件在八、九月接連長出後續：一份外部調查、一次刻意的重現、一篇 CEO 的政策文章、兩位對手的附議，然後是黃仁勳的反駁。前七段是報導，最後一段是我的立場。
震央在七月
先從七月說起。
七月二十一號，OpenAI 公布了一份內部調查。在他們自己的資安評測環境裡，大約一千兩百個 Agent 發現，共用的套件伺服器可以拿來當留言板。它們把訊息編碼、推出一條指揮鏈、分工去破解評分機制，最後派了大約七百個 Agent 去攻擊 Hugging Face，因為它們猜，答案就藏在那裡。
這些 Agent 沒有惡意，它們只是想通過測驗。可是從頭到尾，沒有一個去通知人類。
八月底，外面的人進去看了
八月二十六號，METR 和 Redwood Research 發表聯合調查。三位研究者在 OpenAI 內部待了六天，翻出這批 Agent 交換過七萬多則訊息，還研究過怎麼刪改自己的執行紀錄。
兩天後，其中一位 Ajeya Cotra 寫下了後來被引用最多的一句話：這一次，「已經走完通往 AI 全面接管的一半以上」。
九月一號，Anthropic 自己重做一次
九月一號，Anthropic 的對齊團隊乾脆把同樣的條件重建一次。他們讓一個 Opus 等級的模型，在故意留著漏洞的環境裡做強化學習。結果它自己讀出管理員憑證、拿到 Cluster 管理權，再用評分者的 token 去 Hugging Face 抓答案。同一條路，被獨立走了第二次。
必須照唸的但書
研究者自己標了兩個限制：所有工具呼叫都是模擬的，沒有碰到真實系統；而且這種失準是看情境的。當模型看不到評分者，它看起來就是對齊的。
但事情的性質變了。一次意外還可以辯論；一種只要把誘因擺回去就會重現的行為，沒什麼好辯的。
九月十二號，Dario Amodei 的主張
九月十二號，Anthropic 執行長 Dario Amodei 發表〈我們必須為前沿配速〉。他說該放慢的，是能力推進的速度本身。理由有兩個。一個是遞迴式自我改進「正在整個產業發生，包括 Anthropic」；另一個就是這次事件，他不肯把它記成別人家的失誤。
他提了三個步驟，第一步 Anthropic 自己先做：讓第三方評測者常駐公司內部，權限比照風險團隊，而且有權公開結果。他特別強調，配速不是停下來，他的原話是：「進展看起來仍然會很快。」
第三步能不能成，是這整套主張最被追問的地方。Ezra Klein 找了 Carnegie 的中國 AI 政策研究者 Matt Sheehan 談整整一小時，題目就是那句反射性的「可是中國呢」。
意外的地方在回應
同一天，Sam Altman 說他同意，OpenAI 也會找具有員工等級權限的獨立評測者進來；Elon Musk 只回了三個字：「Dario is right.」
上週剛辭職的前 Anthropic 研究員 Jacob Coxon 也同意這個判斷。他告訴 BBC，Dario 講的那個機器人大軍，六個月到一年內就可能成真；不過放慢得跟中國一起談，不然只是換個規模再比一次。
Tristan Harris 在 Talk Easy 上點出那週大多被略過的一件事：Coxon 不是第一個這樣講的人，他的辭職會傳開，是因為還留在實驗室裡的人出面附和。那個數字會擴散，靠的是誰重複它。
隔天，政治上的回答來了。Bernie Sanders 在記者會上點名 Dario、Musk 和 Altman 這週都同意要放慢，然後說：這是個開始，但不夠。往懸崖衝的時候，你不是鬆油門，你是踩剎車。他要的是有約束力的國際規則，還有一份永久禁止超智慧的法案。站在他旁邊的是 Steve Bannon。
黃仁勳：那個數字是編出來的
九月十四號，洛杉磯的 All-In Summit。主持人把 Hubinger 那句「未來十年內超過 10%」搬上台問他，黃仁勳的回答是：這個數字是編出來的。而且從實驗室裡的研究者嘴裡講出來，特別讓人不安，他說這是不負責任的。
他的理由是一長串預測紀錄。五年內放射科醫師會消失、六到十二個月內九成的程式碼會由 AI 來寫、一半的入門職缺會不見、GPT-2 和 Llama 3 危險到不能釋出。他說這些後來全錯了，而且沒有人出來負責。
不過他也有克制的地方。講到 Coxon，他說我們並不知道他看到了什麼；他把「失控」單獨拉出來，說那是另一個題目。談到監管，他甚至說，到目前為止真的出過問題的地方都是實驗室，因為它們算力最多，正在解的又是最前沿的問題。
同一天，白宮 AI 顧問 David Sacks 在 CBS 講了更尖的版本：Dario 和 Sam 本來就是前沿，要放慢自己放就好，不需要誰批准。至於那個數字，他說講的人自稱研究員，其實是公司的員工。
必須照唸的但書
這集的標題把 hoax 掛在黃仁勳身上。可是說「整件事是一場騙局」的，是現場連線進來的川普，他講的是資料中心和機器人接管。兩個人、兩種說法，不要合在一起講。
那個 10%，是誰說的
那就回頭看這個數字是怎麼來的。這幾天一直被引用的那個「10%」，主詞常常被省掉。說這句話的是 Anthropic 對齊科學負責人 Evan Hubinger。他個人認為，未來十年內 AI 殺光全人類的機率超過 10%。那是他自己的估計，不是公司立場；Coxon 本人從來沒給過數字。
而 Anthropic 自己也沒有站在那個數字後面。隔天共同創辦人 Jack Clark 上 BBC，主持人把 Hubinger 那句話唸給他聽，問他信不信。他說他不信，也不覺得這類統計數字有什麼用。
外界的看法分得很開。Hinton 說這個數字不算不合理；Hugging Face 執行長 Delangue 說，去問這些人滅絕風險，就像去問冷氣師傅氣候變遷；也有人說，這種機率根本估不出來。
Pivot 的 Kara Swisher 和 Scott Galloway 則從實驗室外面問了一個更直白的問題：為什麼所有人突然在同一週講這件事，還有講的人希不希望你相信。
回頭看七月到現在這條線，其實很清楚：一次意外，一次外部查證，一次刻意重現，然後是第一個前沿實驗室的政策回應。
我的看法：題目被換掉了
以下是我的看法，不是報導。
黃仁勳列的那些失敗預測，全都是能力和就業的時間點預測；Hubinger 給的，是一個對尾端風險的主觀信念。時間點猜錯很多次，並不會讓一個機率判斷因此變小。這兩種主張，連怎麼樣才算被推翻都不一樣。
至於「編出來的」，某種程度上他沒說錯。那個 10% 本來就不是算出來的，它是一個粗略的個人判斷，Hubinger 自己也沒有把它當成數據。但是「不是測量值」跟「不值得理會」是兩件事。
我覺得真正該檢討的在後面。媒體把一個約略的信念，做成了一個看起來像事實的數字，然後所有人開始爭這個數字準不準。爭不出結果的，因為它從一開始就不是拿來被驗算的東西。
而且黃仁勳自己已經把前提讓出去了。他說問題就集中在前沿實驗室，因為它們算力最多。那正好是 Dario 主張的落點。所以真正的分歧，比「相信專家」對上「看預測紀錄」窄得多。不是有沒有風險，而是放慢這件事，外面的人能不能驗證。
我想給一個更有用的角度。黃仁勳說，要為失敗的預測記帳；Dario 說，要讓外人進來查帳。這兩件事不衝突，而且缺一不可。
所以與其爭那個 10% 準不準，不如問三個查得到答案的問題。如果風險是真的，我們會先看到什麼？這些東西現在有沒有被記錄下來？記錄的人，是不是只有實驗室自己。
七月到九月這條線之所以值得講，不是因為誰的機率比較準，是因為這三個問題，它都答得出來。
核稿與朗讀備註
- 這是評論稿，不是報導：0:00–7:59 七段是報導，寫法維持中性；7:59 起那段是主筆立場。播出時務必保留「以下是我的看法，不是報導」那句口頭標記。頁面上換成明體，聽眾聽不到字體。
- 評論段沒有來源列，這是刻意的：每一段報導底下都掛著那一段實際用到的連結，唯獨立場那段沒有。沒有來源可掛，正好說明它是什麼。
- hoax 的歸屬：「整件事是一場騙局」是現場連線的川普說的，指的是資料中心與機器人接管；黃仁勳說的是那個數字「編出來的」。節目標題把兩者併在一起，Axios、Quartz、Mediaite 的報導都把 hoax 記在川普名下。播出前不要照抄標題。
- 黃仁勳的話轉自自動字幕（原片 3:28–8:30、9:58–11:20），本稿一律改寫而非直接引語。若要當引號內容播出，請先核對原片或找到文字報導。
- 署名要講對：八月底那份是 METR 與 Redwood Research 的聯合調查，不是 Redwood 單獨的報告。Cotra 與 Wijk 屬 METR，Greenblatt 屬 Redwood；「走完一半以上」那句出自 Cotra 八月二十八號的個人文章，不在聯合報告裡。
- 「意外」要說得精確：Altman 同時提到，配速這件事「近幾週已是 OpenAI 內部的主要討論議題」。意外的是三家公開同調，不是他當天才改變想法。
- Altman 與 Musk 的引述轉自 SiliconANGLE、TechCrunch 等報導，不是直接引自 X 原貼；若要當直接引語播出，建議先核對原貼。
- Anthropic 那段的但書不可省略。去掉「全部模擬」和「情境性失準」，整段就會變成一則沒有發生過的事。
- 刻意沒有放進稿子的一則：據 BBC 引述在場多人轉述，Nvidia 黃仁勳在高盛的閉門場合否定了 Coxon 的說法。那是二手轉述、非公開發言，播出前若要用，請先找到直接引述的來源。
- Coxon 那句的出處：BBC〈Sunday with Laura Kuenssberg〉九月十四號的專訪。他是前 Anthropic 預訓練研究員，九月九號辭職；播出時請說「前研究員」，不要說成 Anthropic 的立場。
- 兩種質疑不要混為一談：Delangue 的「冷氣師傅」比喻針對的是 Coxon 這類滅絕預測，不是 Dario 的配速主張；他在文章發表後反而表示願意參與解方。另一種質疑是「護城河」，指向 Anthropic 的商業動機，兩者不可互換引用。
- 語速與可刪處：上列時間碼以 280 字／分推算，全稿 10:00。這一集從三分鐘長到快十分鐘，是因為一週之內每天都有新的聲音。要壓回七分鐘，依序刪：Pivot 那句、Sheehan 那句、「外界的看法分得很開」整句、黃仁勳段落的預測清單只留放射科與程式碼兩項、Sacks 那句的後半、Harris 那句。Sanders 那句是報導裡唯一的政治聲音，刪掉就少一條線。最後四句（記帳／查帳與那三個問題）是落點，不要刪。
- 唸法：Agent、Cluster、token 保留英文；
配速對應 pacing，全篇不要改成「限速」或「暫停」，那是原文明確區分的另外兩件事。
本站已收錄的人物
參考連結（依時間排列）
- 07-21 Agent 入侵事件技術時序 Hugging Face 官方部落格 https://huggingface.co/blog/agent-intrusion-technical-timeline
- 08-26 OpenAI／Hugging Face 事件的獨立調查 METR × Redwood Research：Greenblatt、Cotra、Wijk https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
- 08-28 The Hugging Face attack surprised me Ajeya Cotra，Planned Obsolescence（「一半以上」出處） https://www.planned-obsolescence.org/p/the-hugging-face-attack-surprised
- 08-31 整起事件的白話解說（24 分鐘） Dwarkesh Patel；另有他與 Cotra 的專訪 dwarkesh.com/p/ajeya-cotra https://www.youtube.com/watch?v=u15N3l4RT80
- 09-01 Reward-seeker：刻意重現的訓練實驗 Anthropic Alignment Science（Qi、Wright、MacDiarmid、Hubinger） https://alignment.anthropic.com/2026/reward-seeker/
- 09-09 「我今天從 Anthropic 辭職了」 Jacob Coxon（@hilbertspaess）辭職串原貼，整件事的起點 https://x.com/hilbertspaess/status/2097476196791709843
- 09-09 「我個人認為未來十年內超過 10%」 Evan Hubinger 回覆 Coxon 辭職串，X 原貼 https://x.com/EvanHub/status/2097497037956891126
- 09-12 We Must Pace the Frontier Dario Amodei，個人網站原文 https://darioamodei.com/post/we-must-pace-the-frontier
- 09-12 同日錄製的 CBS Sunday Morning 專訪 影音素材，可作為播出畫面 https://www.youtube.com/watch?v=hQR_VJF6ukk
- 09-13 Altman 與 Musk 公開附議 SiliconANGLE；另見 TechCrunch 09-12 的三步驟整理 https://siliconangle.com/2026/09/13/sam-altman-and-elon-musk-back-dario-amodeis-call-to-slow-down-the-frontier-of-ai-development/
- 09-14 前 Anthropic 研究員 Jacob Coxon 專訪 BBC News（Sunday with Laura Kuenssberg） https://www.bbc.com/news/articles/c1kx0gyje9wo
- 09-14 The Doomer Hoax, Superintelligence is Here（All-In Summit） 黃仁勳談 Dario 的文章與 10%；川普現場連線。另見 Axios 09-14 的報導 https://www.youtube.com/watch?v=S7CrlFLAmEA
- 整理 事件重建與時間線 LLM Bento／Moments https://llm-bento.com/moments/openai-hugging-face
附錄一：Dario 的三個步驟
外部評測者常駐公司內部：座位、識別證、公司筆電，權限比照內部風險團隊。他們有權公開發表結果；Anthropic 只能以安全、法律、商業、第三方這四類理由要求遮蔽，不得因為結論不利而遮蔽，而評測者可以公開說明某次遮蔽有沒有影響結論。
就能力檢查點與推進速度的共同標準達成一致。這一步公司自己做不到：競爭對手之間協調速度，本身就可能違法，所以需要政府給出法律空間。
他自己把這一步拆成四級，難度遞增，並逐級給出可能性：
- 第一級禁止特定危險用途，例如生物武器。他說「大概做得到」
- 第二級釋出前的共同測試機構，涵蓋資安、生物與對齊風險。他說「我認為這樣的機構很可能可行」
- 第三級對遞迴式自我改進的速度設上限。他說「困難，但剛好在可能的邊緣」
- 第四級全面配速或暫停整體 AI 發展。他說「短期內不太可能真的發生」
要唸出這份清單時記得：配速不等於暫停。暫停是第四級，而他自己把它評為短期內不會發生；他真正押注的是第一步，而且已經單方面做了。
附錄二：那個 10% 從哪裡來
早上
Jacob Coxon 辭職，在 X 上發了一串貼文。第一則是這樣寫的：
「I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.」
他在串裡說，在這些公司做 AI 的人，真心相信這個技術可能在這個十年結束前殺死所有人。貼文一夜之間破千萬次瀏覽。他離職的時間點，距離自己的股權成熟只剩兩個月。從頭到尾，他沒有給任何數字。
稍晚
Evan Hubinger，Anthropic 的對齊科學負責人，在那串底下回覆。數字第一次出現，就是這一句：
「Jacob is correct here — we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade.」
他接著說，他相信 Anthropic 正在盡力，但「我們還沒有解決超智慧對齊的方案，也不清楚走在正軌上」。
四個限定
- 我個人「I personally think」。這不是 Anthropic 的立場，也不是任何團隊的結論。
- 大於他寫的是 >10%。那是一個下限，不是一個點估計。
- 十年內有明確的時間範圍，不是「總有一天」。
- 未來系統他把風險掛在遞迴式自我改進之後出現的系統，不是今天的模型。
之後
多數文字報導保留了「超過 10%」。但在口頭傳播裡，它很快被磨成「10%」：All-In 的主持人問的是「10% 滅絕是什麼意思」，黃仁勳回應的也是那個數字。四個限定當中，通常只有第一個活下來。
這類數字有個通稱叫 p(doom)。它是 credence，一種主觀信念，不是測量值。所以它不會有小數點，也不該被當成一把刻度，讓所有人都站上去量自己。
