能力推進的速度本身必須放慢,而且外面的人要能驗證它真的放慢了。
Pachocki 以 OpenAI 首席科學家的身分寫道,沒有任何一間實驗室——包括他自己那一間——把對齊與監控解到足以再用最高速度負責任地擴張多久;而思路監控正變得越來越不可靠,因為模型越來越擅長推理自己的推理。六天後 Amodei 的文章提出三個步驟:常駐的第三方評估者,擁有近似員工的存取權,且發表的發現不得被公司以「對己不利」為由刪改;民主國家之間的協調;以及全球協議。兩人要的都不是停下,也都說單方面行動不夠。 聯署人數在不同報導之間有出入,從一千一百到一千一百三十四都有;這裡採用的是有明確數字的那一份。
什麼會讓他們改變想法 一套被證明能在下一個能力層級撐得住的監控方法。兩人說的都是條件而非絕對:Pachocki 說的是沒有實驗室解到「足夠的程度」,Amodei 說的是配速不等於停下。
放慢對外發布,會拉大實驗室握有的東西與其他所有人拿得到的東西之間的差距,而沒有人算過這筆帳。
Brown 同意前提,而且講得比配速派更具體:模型能運作的時程已經比兩次發布之間的間隔更長,於是沒有一間實驗室能在下一代出來之前,用這一代真正的能力長度把它測完;而多數安全政策寫於 GPT-4 時代,當時沒有人把時程放進考量。接著他自己把它翻過來。放慢的是對外發布,內部照樣往前走。數學是已經看得很清楚的地方——OpenAI 內部有一個模型正在解外面的世界碰不到的未解問題。他的原話是:那是一種不公平的優勢。
什麼會讓他們改變想法 沒有說,而且理由很特別:Brown 直說他沒有答案能衡量這個取捨要怎麼權衡。這個立場提出的是問題,不是主張。
這場爭論所依賴的那些預測,過往紀錄並不好,而推動這波警報的那個數字是編出來的。解方是把工程做好、找稽核,不是放慢。
Huang 質疑的是預測紀錄:五年內取代放射科醫師、幾個月內大部分程式碼由 AI 撰寫、模型危險到不能發布——每一個都說得信心十足,每一個都錯了;所以一個照著最新預測重組自己的產業,是照著一個不可靠的先驗在重組。那個大於 10% 的數字,他說是編出來的,而從實驗室內部講出來是不負責任的。但他在一些地方比那一集的標題謹慎:談到 Coxon,他說「我們不知道 Coxon 看到了什麼」;配速和暫停是公司若覺得失控時可以做的「自願的事」;而危險確實集中在前沿實驗室,「因為他們有最多的算力」。他的解方是把工程做好,並比照財務稽核引進外部評估者:稽核「不必像我們一樣懂這門生意,只要問對問題」,而且應該不只一家。
什麼會讓他們改變想法 他自己點出了一種情況:某間實驗室在事件後得出結論,說它不知道發生了什麼、「完全不知道怎麼控制」、正在「向社會求助」——那樣的話,其他公司應該派工程師進去。他隨即補上一句,他懷疑會走到那一步:「他們處理得來。」
問題不在速度,而在道德地位——而把它懸著不答,本身就讓對齊更難。
Suleyman 與 Anthropic 的分歧不在快慢。Microsoft AI 的《Humanist AI Code of Conduct》要求三個性質——從屬、對齊、受控——並明言模型永遠不會抗拒人類的中斷、修正或關機,以及 AI 應該是工具,不是人。他的主張是:把「模型算不算道德主體」懸著不答,這件事本身就是一個對齊問題。
什麼會讓他們改變想法 沒有直接說。他的立場是一個關於「哪個問題才重要」的主張,而且與配速的任何一種答案都相容——這正是它看起來像分歧、其實不是的原因。
控制一個超智慧不是一個可解的問題,所以配速沒有用——通用的那一種根本不該被造出來。
這裡的分歧不在機率,而在其他所有人共用的那個前提。Yampolskiy 說,連安全社群都假設只要有更多時間、更多錢、更聰明的人,就能長久地控制住超智慧;而他的研究指向相反的方向:一個必須在每一次互動、每一個惡意行為者、每一輪自我改進之中永遠不犯一次錯的系統,只是換了名字的永動機。Soares 從 MIRI 主張同一個角落,他的書就叫《If Anyone Builds It, Everyone Dies》。要注意這個立場沒有說什麼:Yampolskiy 接受今天的 LLM——它們已經部署,而我們還活著——也希望窄用途的系統繼續做下去,自駕、醫療都好。他要永久禁掉的是通用超智慧。
什麼會讓他們改變想法 他們說誠實的答案是「沒有任何觀察會」,而且把這件事當成論證本身,不是迴避。同一場辯論裡有人問,什麼證據才足以讓你要求關掉它,Andrew McAfee 給了一個具體的場景:AI 接管舊金山的無人計程車、驅使它們撞人,而且一個月都沒有人關得掉。Yampolskiy 的回答是,一週和一個月沒有差別,因為到那個時候已經太晚了。他對自己提案的漏洞同樣直接:如果不造它,他也沒有辦法阻止別人去造,而他明說了這一點。
自願配速不夠。前沿 AI 應該像醫藥、航空與核能那樣發執照,而且不該把這場競賽當成理所當然。
Bengio 對危險的判斷和配速派一致,卻反對它的做法。實驗室說自己被困在一場競賽裡;他在安全理事會上說:「這場競賽不是自然法則,而是選擇的產物」——是這些公司自己做的選擇;實驗室說過如果可以就會放慢,「他們可以。但我們不該指望。」所以解方必須有約束力,不能只是請求:開發者必須向獨立專家證明一個系統可以安全地訓練、安全地部署,回報每一起資安事件,投保責任險,並且持有執照,就像其他一出事就是災難的產業一樣。
什麼會讓他們改變想法 他沒有說出一個條件。他說出的是舉證責任:開發者必須向大眾證明產品不會危險——這把證據的負擔放在想往前走的那一方,而不是想停下來的那一方。
速度是錯的變數。模型該在達到安全標準時才發布,而不是走得慢一點就發布;而整個產業離這種標準所要求的嚴謹,還差得很遠。
Robinson 在辭職前負責主筆 OpenAI 的系統卡,也簽了那封配速公開信。但他不接受這個詞:「衝下懸崖和慢慢走下懸崖,其實沒有差多少。」他要的是一道關卡:標準十分鐘就能達到,那就發布;停了兩個月還沒達到,就繼續擋著。他說出了門檻:運作上的嚴謹至少要比照核能,例如三重備援,讓一個人哪天狀況不好、按錯按鈕,也不會釀成爐心熔毀;而且他寧可冒過度監管的風險,也不要留在產業現在的位置。他把問題放在整個產業的文化,而不是哪一間公司、哪一個人。他也承認光有嚴謹不夠:對齊「是一個科學問題」,就算把核能與航空所有行之有效的控管都搬過來,也沒有人知道怎麼讓模型在沒人看著的時候照我們希望的方式行事。他沒有宣稱災難一定會來,只說「我們再也承擔不起假設它不會來」。
什麼會讓他們改變想法 他說的是什麼會解除關卡,而不是什麼會推翻這個立場:標準達到了,多快都行。他沒有說標準是什麼。他的立場也不取決於預測:他說他不知道 Paul Christiano 的警告對不對,只知道如果它對,該有的謹慎會是什麼樣子。
危險不在強大的 AI,而在不對等的 AI;解方是把能力分散出去,包括開源,而不是把它放慢。
Delangue 是以七月那場攻擊的受害者身分發言,而他得出的教訓和這條線上多數人相反。他的團隊想自保時,封閉的前沿模型拒絕了他們——護欄分不出防守方和攻擊方,攻擊方卻照樣能越獄——最後管用的是一個來自中國的開源模型。他對安全理事會的結論是:「最大的風險不是強大的 AI」,而是不對等——攻擊者與防守者之間、少數公司與其他所有人之間、少數國家與世界其他地方之間。他也要求更多透明,強制分享完整的 Agent 軌跡紀錄,並說以恐懼為基礎的敘事不是做決定的方式。
什麼會讓他們改變想法 沒有說。值得和 Noam Brown 的立場並讀:兩人診斷的是同一道落差——裡面與外面——只是站在它的兩側。Brown 點出代價卻沒有解方;Delangue 有解方,而且和配速正面相反。
公司應該自己管自己:安全交給它們自己的內部控管與自己委託的稽核,法律如果要來,也是之後的事。
9 月 29 日在白宮,川普說他「看到非常多的自我管理」,並把各公司簽下的協議稱為「道德上有約束力」、「幾乎像一部憲法」。協議要每一家簽署者做到四層:內部控管、一個負責查核這些控管的內部團隊、一位獨立的外部稽核,以及由公司董事會的一個委員會審閱稽核報告。簽署者會定期開會訂定標準,文件也寫到「隨著時間,把這些步驟寫進法律或規範可能是合理的」。Vance 說明了為什麼不走另一條路:像 FDA 或 FAA 那樣的監管機構,需要真正懂這項技術的監管者,而「大多數官僚懂的,遠比實際在做這些產品的人少」。川普也提到可能成立一個「大概十個人」的委員會來監督這個產業,但沒有細節。
持這個立場的人 Donald TrumpJD Vance
什麼會讓他們改變想法 沒有說過什麼會讓他們改變想法。
出來喊這件事的人是公司員工,不是獨立研究者,沒有立場決定這件事。
這個反駁針對的是「誰有資格訂規則」:那些被稱作研究者的人,是這些產品所屬公司的員工;而從一間前沿實驗室內部喊出全產業配速,無論真心與否,都是一個競爭動作。
持這個立場的人 David Sacks
什麼會讓他們改變想法 這條線裡已經有兩件事與它相左。Brown 的論點對他自己的雇主不利;而 Pachocki 先承認了對齊問題,沒有人逼他,比任何競爭對手需要回應的時間早了六天。