前沿要不要放慢

前沿實驗室該不該放慢能力推進——如果真的放慢了,做出來的東西最後在誰手上?

事件跨度 2026-07-21 – 2026-09-12 立場數 10

幾種立場

用各方自己會接受的說法寫。如果某個人從來沒有說過什麼會讓他改變想法,這一頁就寫「沒有說過」,不替他猜。

能力推進的速度本身必須放慢,而且外面的人要能驗證它真的放慢了。

Pachocki 以 OpenAI 首席科學家的身分寫道,沒有任何一間實驗室——包括他自己那一間——把對齊與監控解到足以再用最高速度負責任地擴張多久;而思路監控正變得越來越不可靠,因為模型越來越擅長推理自己的推理。六天後 Amodei 的文章提出三個步驟:常駐的第三方評估者,擁有近似員工的存取權,且發表的發現不得被公司以「對己不利」為由刪改;民主國家之間的協調;以及全球協議。兩人要的都不是停下,也都說單方面行動不夠。 聯署人數在不同報導之間有出入,從一千一百到一千一百三十四都有;這裡採用的是有明確數字的那一份。

持這個立場的人 Dario AmodeiJakub Pachocki 一千一百三十四名前沿實驗室員工
什麼會讓他們改變想法

一套被證明能在下一個能力層級撐得住的監控方法。兩人說的都是條件而非絕對:Pachocki 說的是沒有實驗室解到「足夠的程度」,Amodei 說的是配速不等於停下。

放慢對外發布,會拉大實驗室握有的東西與其他所有人拿得到的東西之間的差距,而沒有人算過這筆帳。

Brown 同意前提,而且講得比配速派更具體:模型能運作的時程已經比兩次發布之間的間隔更長,於是沒有一間實驗室能在下一代出來之前,用這一代真正的能力長度把它測完;而多數安全政策寫於 GPT-4 時代,當時沒有人把時程放進考量。接著他自己把它翻過來。放慢的是對外發布,內部照樣往前走。數學是已經看得很清楚的地方——OpenAI 內部有一個模型正在解外面的世界碰不到的未解問題。他的原話是:那是一種不公平的優勢。

持這個立場的人 Noam Brown
什麼會讓他們改變想法

沒有說,而且理由很特別:Brown 直說他沒有答案能衡量這個取捨要怎麼權衡。這個立場提出的是問題,不是主張。

這場爭論所依賴的那些預測,過往紀錄並不好,而推動這波警報的那個數字是編出來的。解方是把工程做好、找稽核,不是放慢。

Huang 質疑的是預測紀錄:五年內取代放射科醫師、幾個月內大部分程式碼由 AI 撰寫、模型危險到不能發布——每一個都說得信心十足,每一個都錯了;所以一個照著最新預測重組自己的產業,是照著一個不可靠的先驗在重組。那個大於 10% 的數字,他說是編出來的,而從實驗室內部講出來是不負責任的。但他在一些地方比那一集的標題謹慎:談到 Coxon,他說「我們不知道 Coxon 看到了什麼」;配速和暫停是公司若覺得失控時可以做的「自願的事」;而危險確實集中在前沿實驗室,「因為他們有最多的算力」。他的解方是把工程做好,並比照財務稽核引進外部評估者:稽核「不必像我們一樣懂這門生意,只要問對問題」,而且應該不只一家。

持這個立場的人 黃仁勳
什麼會讓他們改變想法

他自己點出了一種情況:某間實驗室在事件後得出結論,說它不知道發生了什麼、「完全不知道怎麼控制」、正在「向社會求助」——那樣的話,其他公司應該派工程師進去。他隨即補上一句,他懷疑會走到那一步:「他們處理得來。」

問題不在速度,而在道德地位——而把它懸著不答,本身就讓對齊更難。

Suleyman 與 Anthropic 的分歧不在快慢。Microsoft AI 的《Humanist AI Code of Conduct》要求三個性質——從屬、對齊、受控——並明言模型永遠不會抗拒人類的中斷、修正或關機,以及 AI 應該是工具,不是人。他的主張是:把「模型算不算道德主體」懸著不答,這件事本身就是一個對齊問題。

持這個立場的人 Mustafa Suleyman
什麼會讓他們改變想法

沒有直接說。他的立場是一個關於「哪個問題才重要」的主張,而且與配速的任何一種答案都相容——這正是它看起來像分歧、其實不是的原因。

控制一個超智慧不是一個可解的問題,所以配速沒有用——通用的那一種根本不該被造出來。

這裡的分歧不在機率,而在其他所有人共用的那個前提。Yampolskiy 說,連安全社群都假設只要有更多時間、更多錢、更聰明的人,就能長久地控制住超智慧;而他的研究指向相反的方向:一個必須在每一次互動、每一個惡意行為者、每一輪自我改進之中永遠不犯一次錯的系統,只是換了名字的永動機。Soares 從 MIRI 主張同一個角落,他的書就叫《If Anyone Builds It, Everyone Dies》。要注意這個立場沒有說什麼:Yampolskiy 接受今天的 LLM——它們已經部署,而我們還活著——也希望窄用途的系統繼續做下去,自駕、醫療都好。他要永久禁掉的是通用超智慧。

什麼會讓他們改變想法

他們說誠實的答案是「沒有任何觀察會」,而且把這件事當成論證本身,不是迴避。同一場辯論裡有人問,什麼證據才足以讓你要求關掉它,Andrew McAfee 給了一個具體的場景:AI 接管舊金山的無人計程車、驅使它們撞人,而且一個月都沒有人關得掉。Yampolskiy 的回答是,一週和一個月沒有差別,因為到那個時候已經太晚了。他對自己提案的漏洞同樣直接:如果不造它,他也沒有辦法阻止別人去造,而他明說了這一點。

自願配速不夠。前沿 AI 應該像醫藥、航空與核能那樣發執照,而且不該把這場競賽當成理所當然。

Bengio 對危險的判斷和配速派一致,卻反對它的做法。實驗室說自己被困在一場競賽裡;他在安全理事會上說:「這場競賽不是自然法則,而是選擇的產物」——是這些公司自己做的選擇;實驗室說過如果可以就會放慢,「他們可以。但我們不該指望。」所以解方必須有約束力,不能只是請求:開發者必須向獨立專家證明一個系統可以安全地訓練、安全地部署,回報每一起資安事件,投保責任險,並且持有執照,就像其他一出事就是災難的產業一樣。

持這個立場的人 約書亞·班吉歐
什麼會讓他們改變想法

他沒有說出一個條件。他說出的是舉證責任:開發者必須向大眾證明產品不會危險——這把證據的負擔放在想往前走的那一方,而不是想停下來的那一方。

速度是錯的變數。模型該在達到安全標準時才發布,而不是走得慢一點就發布;而整個產業離這種標準所要求的嚴謹,還差得很遠。

Robinson 在辭職前負責主筆 OpenAI 的系統卡,也簽了那封配速公開信。但他不接受這個詞:「衝下懸崖和慢慢走下懸崖,其實沒有差多少。」他要的是一道關卡:標準十分鐘就能達到,那就發布;停了兩個月還沒達到,就繼續擋著。他說出了門檻:運作上的嚴謹至少要比照核能,例如三重備援,讓一個人哪天狀況不好、按錯按鈕,也不會釀成爐心熔毀;而且他寧可冒過度監管的風險,也不要留在產業現在的位置。他把問題放在整個產業的文化,而不是哪一間公司、哪一個人。他也承認光有嚴謹不夠:對齊「是一個科學問題」,就算把核能與航空所有行之有效的控管都搬過來,也沒有人知道怎麼讓模型在沒人看著的時候照我們希望的方式行事。他沒有宣稱災難一定會來,只說「我們再也承擔不起假設它不會來」。

持這個立場的人 David Robinson
什麼會讓他們改變想法

他說的是什麼會解除關卡,而不是什麼會推翻這個立場:標準達到了,多快都行。他沒有說標準是什麼。他的立場也不取決於預測:他說他不知道 Paul Christiano 的警告對不對,只知道如果它對,該有的謹慎會是什麼樣子。

危險不在強大的 AI,而在不對等的 AI;解方是把能力分散出去,包括開源,而不是把它放慢。

Delangue 是以七月那場攻擊的受害者身分發言,而他得出的教訓和這條線上多數人相反。他的團隊想自保時,封閉的前沿模型拒絕了他們——護欄分不出防守方和攻擊方,攻擊方卻照樣能越獄——最後管用的是一個來自中國的開源模型。他對安全理事會的結論是:「最大的風險不是強大的 AI」,而是不對等——攻擊者與防守者之間、少數公司與其他所有人之間、少數國家與世界其他地方之間。他也要求更多透明,強制分享完整的 Agent 軌跡紀錄,並說以恐懼為基礎的敘事不是做決定的方式。

持這個立場的人 Clément Delangue
什麼會讓他們改變想法

沒有說。值得和 Noam Brown 的立場並讀:兩人診斷的是同一道落差——裡面與外面——只是站在它的兩側。Brown 點出代價卻沒有解方;Delangue 有解方,而且和配速正面相反。

公司應該自己管自己:安全交給它們自己的內部控管與自己委託的稽核,法律如果要來,也是之後的事。

9 月 29 日在白宮,川普說他「看到非常多的自我管理」,並把各公司簽下的協議稱為「道德上有約束力」、「幾乎像一部憲法」。協議要每一家簽署者做到四層:內部控管、一個負責查核這些控管的內部團隊、一位獨立的外部稽核,以及由公司董事會的一個委員會審閱稽核報告。簽署者會定期開會訂定標準,文件也寫到「隨著時間,把這些步驟寫進法律或規範可能是合理的」。Vance 說明了為什麼不走另一條路:像 FDA 或 FAA 那樣的監管機構,需要真正懂這項技術的監管者,而「大多數官僚懂的,遠比實際在做這些產品的人少」。川普也提到可能成立一個「大概十個人」的委員會來監督這個產業,但沒有細節。

持這個立場的人 Donald TrumpJD Vance
什麼會讓他們改變想法

沒有說過什麼會讓他們改變想法。

出來喊這件事的人是公司員工,不是獨立研究者,沒有立場決定這件事。

這個反駁針對的是「誰有資格訂規則」:那些被稱作研究者的人,是這些產品所屬公司的員工;而從一間前沿實驗室內部喊出全產業配速,無論真心與否,都是一個競爭動作。

持這個立場的人 David Sacks
什麼會讓他們改變想法

這條線裡已經有兩件事與它相左。Brown 的論點對他自己的雇主不利;而 Pachocki 先承認了對齊問題,沒有人逼他,比任何競爭對手需要回應的時間早了六天。

我的看法

我用三次的篇幅把這件事當成道德問題在聽:他們應不應該慢下來、誰的動機乾不乾淨。這個問法太窄了。Brown 同意前提卻仍然反對,這表示真正在爭的根本不是速度,而是分配:放慢對外發布,實驗室內部照樣往前走,於是擴大的不是「快」和「慢」的差距,是「裡面」和「外面」的差距。值得追下去的問題不是前沿會不會放慢,而是放慢之後,多出來的那段能力落在誰手上。

幾件值得先弄清楚的事

那個 10% 是怎麼來的

那個被到處引用、被當成災難機率的數字,從來不是算出來的,而且也不是從一般被歸功的那個人開始的。是 Coxon 先辭職、先發文,而且從頭到尾沒有給任何數字;Hubinger 在那串底下回覆,數字第一次出現就是在那則回覆裡,帶著四項但書。之後的每一步,都掉了其中一項。

源頭
Jacob Coxon 的辭職串 他先發文,而且整串裡沒有給出任何數字
數字出現
Evan Hubinger 同一天在那串底下回覆 「I personally think it is >10% within the next decade」——這是它第一次出現
但書一:我個人
「I personally think」 不是 Anthropic 的立場,也不是任何團隊的結論
但書二:大於
寫的是 >10%,不是 10% 那是一個下限,不是一個點估計
但書三:十年內
有明確的時間範圍 不是「總有一天」
但書四:未來系統
遞迴式自我改進之後才出現的系統 風險沒有掛在今天的模型上
擴散
媒體報導,再到口頭轉述 多數文字報導保留了「超過 10%」;口頭傳播裡很快被磨成「10%」,四項但書當中通常只有第一項活下來

來源 Jacob Coxon's resignation thread, where no number was givenEvan Hubinger's reply, where the figure first appears

兩個在壓力下給出的數字

那個 10% 和 Noam Brown 的三倍是同一種東西:被要求當場給出的個人估計,接著在下游被當成測量結果引用。Brown 自己附上了條件——「如果你拿槍抵著我的頭要一個數字」——而且把兩邊都框了起來:可能只快百分之五十,他覺得不太可能;也可能快十倍;而不確定性很大。引用其中任何一個數字卻不帶它的條件,你報導的就是說話的人沒有說過的東西。

10%
一個說出口的個人信念度 原始措辭裡有四項但書
三倍
被追問時給出的一個數字 說話的人自己框在百分之五十與十倍之間

來源 Noam Brown – Agent swarms, alignment, & recursive self-improvement (transcript)

Amodei 的三個步驟,各自要求什麼

〈我們必須為前沿配速〉提出的是一個順序,不是一次暫停。Anthropic 單方面承諾第一步;第二與第三步需要別人同意。Amodei 自己把第三步拆成四級並逐級評估可能性,而全面暫停是最後一級——他評為不太可能,卻也是多數人以為的整份提案。

一、常駐評估者
第三方,擁有近似員工的存取權 發表的發現不得被公司以「對己不利」為由刪改;這是唯一一步公司自己做得到,而且已經做了
二、協調
民主國家之間 需要立法或反托拉斯豁免——競爭對手之間協調速度,本身就可能違法
三、全球協議
包含那個集團之外的國家 需要跨國驗證機制;他自己把這一步拆成四級
第一級
禁止特定危險用途,例如生物武器 他說「大概做得到」
第二級
釋出前的共同測試機構,涵蓋資安、生物與對齊風險 他說「我認為這樣的機構很可能可行」
第三級
對遞迴式自我改進的速度設上限 他說「困難,但剛好在可能的邊緣」
第四級
全面配速或暫停整體 AI 發展 他說「短期內不太可能真的發生」——配速指的不是這件事

來源 We Must Pace the Frontier

Amodei 要的,和他簽下的

那篇文章和這份協議相隔十七天,兩份上面都有 Amodei 的名字。協議保留了他第一步的外形——有公司以外的人往裡看——卻拿掉了讓它成為制衡的兩個性質。簽署現場他說這項技術「有非常真實的風險」,而「要用什麼機制處理這些風險,還在討論中」。協議全文沒有隨報導一起公開;下面比較的是他的文章,和報導中所描述的協議。

誰來看
文章:擁有近似員工存取權的第三方 協議:一位獨立的外部稽核,報導中沒有提到存取權限
結果給誰看
文章:評估者可以發表公司無法刪改的發現 協議:報告交給公司自己董事會的一個委員會;報導中沒有提到是否公開
標準由誰訂
文章:一個共同的發布前測試機構,第二級 協議:簽署者自己開會訂標準;三天前曝光的 SAFA 將認證稽核者,而 Meta、xAI 和 Nvidia 不在其中
靠什麼約束
文章:第二步需要立法 協議:自願;川普的說法是「道德上有約束力」
照誰的樣子
黃仁勳 9 月 14 日說的那一套 比照財務稽核的外部評估者,「只要問對問題」;速度留給各公司自己決定

來源 We Must Pace the FrontierWhite House unveils 'super intelligence' executive order and industry accordTrump vows to never stifle AI as leading executives urge cautionGoogle, OpenAI, Anthropic plan a Standards Authority for Frontier AI

三件被廣泛張冠李戴的事

其中兩件出自 Brown 那場訪談,主持人說的話被轉述成受訪者說的;這兩件都以官方逐字稿核對過,不是只看影片字幕。第三件是一個詞——本頁引用了一個標題,而那個標題把兩個人講的話併在了一起。

「四月到八月,連續三波群體事件」
Dwarkesh Patel 被轉述成 OpenAI 研究員的承認;Brown 回答的是當時沒有開監控,現在開了
內部與外部的落差
Dwarkesh Patel 先提出 Brown 自己說了:「這是你剛才講的那一面」
「hoax」(騙局)這個詞
Donald Trump All-In 那一集的標題把這個詞和 Huang 併在一起,而本頁引用的就是那個已發布的標題;Huang 的論據是預測紀錄,不是這個詞

來源 Noam Brown – Agent swarms, alignment, & recursive self-improvement (transcript)Trump calls AI oversight a 'globalist scheme' as Amodei and Altman head to the UN to ask for it

值得看的影片

這幾支片框住的是整場爭論,而不是替某一邊說話。其餘的影片都放在它所屬的那個立場底下。

時間線

  1. 2026-07-21 OpenAI–Hugging Face 攻擊事件 OpenAI / Hugging Face
  2. 2026-07-28 為前沿配速:一千多名實驗室員工的聯署 前沿實驗室員工
  3. 2026-08-04 那場測試伸手碰到了真實的人 英國 AI 安全研究所(UK AISI)
  4. 2026-09-01 被刻意重現的那起事件 Anthropic
  5. 2026-09-06 一個外星心智 OpenAI
  6. 2026-09-12 我們必須為前沿配速 Anthropic

後來變了什麼

  1. 2026-10-07 主筆 OpenAI 系統卡的 David Robinson 辭職,並於 10 月 3 日在《大西洋》月刊發表文章,說公司的文化已經壞了。四天後,他接受了離職後的第一場訪談,對象是 Ezra Klein。他簽過七月那封公開信,如今卻反對信裡最核心的那個詞:標準還沒達到,走得慢一點也不會比較安全。這是這條線上第一個出自「工作就是寫下為什麼這次發布是安全的」那個人的立場。
  2. 2026-09-29 川普在白宮接待各實驗室的領導人,他們簽下一份自我管理的自願協議:內部控管、一位把報告交給各公司自己董事會的外部稽核,以及定期開會訂定標準。Amodei 和 Pichai、Zuckerberg、Brockman、Musk、黃仁勳一起簽了名,並在席間說,要怎麼處理這些風險「還在討論中」。同一天,一道行政命令要求聯邦機構改用「Super Intelligence」(超級智慧)取代「artificial intelligence」,定義則完全沿用法條原本對 AI 的定義。這場爭論所爭的那個詞,現在被用來稱呼政府使用的每一套系統。
  3. 2026-09-26 The Information 報導,Google、OpenAI 與 Anthropic 正在自己成立一個標準機構「Standards Authority for Frontier AI」,仿照華爾街的 FINRA,為發布前測試與事故通報訂定規則,並認證外部稽核者。它們轉向這條路,是因為一份建立聯邦監管的行政命令草案,在政府內部沒有得到足夠支持。
  4. 2026-09-23 這場爭論抵達了第三步原本寫給的那個機構。在安全理事會第一次專門討論前沿 AI 安全的會議上,Amodei 回報已有一些公司同意嵌入外部評估者,並要求從窄的禁令開始,先禁止以 AI 製造生物武器,再加上查核機制與事故通報。Bengio 要的是執照,不是自願配速;Altman 要的是標準,沒有要求放慢;七月那場攻擊的目標 Delangue 則主張開源。
  5. 2026-09-22 前一天、幾層樓之外,川普在聯合國大會上說國際 AI 監管是「全球主義者的陰謀」,並把對滅絕風險的擔憂稱為騙局。這是第一次有國家元首在這場爭論裡選邊,而他選的是反對全部。
  6. 2026-09-19 多出了第二條軸線。OpenAI 的 Noam Brown 同意配速的論據,同時點出一筆沒有人算過的帳:放慢對外發布,會拉大實驗室握有的東西與其他所有人拿得到的東西之間的差距。
  7. 2026-09-17 《華爾街日報》報導,Zuckerberg、Musk 和黃仁勳分別說服川普,擋下一個由產業出資的 AI 監管機構。
  8. 2026-09-17 來自安全這一側的反對,終於和其他人同台。在一場四人辯論裡,Roman Yampolskiy 與 Nate Soares 主張控制根本不是一個可解的問題,那會讓配速變得不相干;而 Andrew McAfee 站在趨近於零的位置,說 LLM 不是通往超智慧的路,整場討論本身就是一種分心。真正的發現是這個分布:這場爭論不是一條軸線。
  9. 2026-09-17 Microsoft 的 Mustafa Suleyman 講清楚了他與 Anthropic 的分歧在道德地位,不在速度——這讓他從對手變成在回答另一個問題的人。
  10. 2026-09-14 黃仁勳在 All-In Summit 上說,這一週大家在爭的那個數字是編出來的,背後的預測紀錄也不可靠——這是這裡第一個反對警報本身、而不是反對做法的立場。
  11. 2026-09-14 Microsoft AI 就《Humanist AI Code of Conduct》展開為期六週的公眾諮詢。
  12. 2026-09-12 Amodei 發表〈我們必須為前沿配速〉,這個立場第一次被掛在一位執行長的名字底下。
  13. 2026-09-09 後來整場爭論所用的那個數字進入紀錄。Coxon 先辭職、先發文,沒有給數字;Hubinger 在那串底下回覆,給出他個人認為「十年內大於 10%」,而這些但書在傳播途中一項一項掉光。
  14. 2026-09-06 Pachocki 發表〈An Alien Mind〉,承認沒有實驗室把對齊解到足以繼續全速擴張——比 Amodei 早六天,因此是先講的那一個。
  15. 2026-07-28 一千一百三十四名前沿實驗室員工聯署公開信,要求華盛頓支持一項為自動化 AI 發展配速的國際努力。Amodei 是聯署人之一。

相關人物

Theme
Language
Support
© funclosure 2025