關於
Vishal Maini 是 Mythos Ventures 的創辦人暨管理合夥人。這支早期創投基金專門投資具變革性的 AI 公司,2023 年完成 1,400 萬美元的首支基金募資。在那之前,他在借貸新創 Upstart 工作,之後花了一年自學機器學習,並與 Samer Sabri 合寫了入門指南《Machine Learning for Humans》。他在 2018 年初到倫敦加入 DeepMind,在溝通與政策團隊待到 2022 年,負責和 AI 社群交流,並向外界說明實驗室的研究,特別是安全團隊的工作。他說過,他剛加入時,DeepMind 不允許任何人對外談論 AI 可能導致人類滅絕;經過幾個月的內部倡議,這項政策才放寬。
主要貢獻
- 2018 至 2022 年任職於 DeepMind 溝通與政策團隊,向大眾說明實驗室的 AI 安全研究
- 與 Jan Leike、David Krueger、Tom Everitt、Miljan Martic、Shane Legg 共同撰寫〈Scalable agent alignment via reward modeling: a research direction〉(2018)
- 共同撰寫〈Reducing Sentiment Bias in Language Models via Counterfactual Evaluation〉(2019)
- 與 Samer Sabri 合寫《Machine Learning for Humans》,用淺白英文介紹機器學習
- 創辦 Mythos Ventures,2023 年完成 1,400 萬美元首支基金募資,投資具變革性的 AI 新創
影片與訪談
What’s Coming Next in AI? Hear From the Insiders
A four-minute compilation from the From Inside AI series, cut from interviews with current and former staff of OpenAI, Google DeepMind and Anthropic. Nanda's "at least a 10% chance" sits beside Irving's coin flip; Turner and Ladish give their reasons for leaving Google and Anthropic; Kokotajlo and Ladish describe the Hugging Face attack. It moves from how little the labs understand their models, through the race, to the case for pacing, and ends on Ladish: "We have choices to make."
View Details
AI Isn't the Next Internet. It's the Next Neanderthal Moment
Maini, on Google DeepMind's strategy and communications team from 2018 to 2022, argues that the right analogy for AI is not electricity or the internet but Homo sapiens outcompeting Neanderthals, and that AGI is "a starting line, not a finish line". He reads out his own post recalling that, when he joined, researchers were PR-trained to deflect questions about extinction until months of advocacy changed the policy. He cites Dario Amodei's three levers for keeping a lead over China, stressing security against weight theft. He left for personal rather than protest reasons, and says he feels hope.
View Details思想連結
Dario Amodei
受其影響執行長暨共同創辦人・Anthropic
2018 年,Maini 與 Pedro Ortega 合寫了 DeepMind 安全研究部落格的一篇文章,文中清潔機器人的例子取自 Amodei 等人的《Concrete Problems in AI Safety》,並把這篇論文列為「形塑了我們思考」的參考之一。八年後他主張,如果失去控制,跟中國比快並不是策略;他贊同他所說的 Dario 提出的三個更可行的槓桿:加強晶片出口管制、打擊模型蒸餾,以及最關鍵的一項,保護模型權重不被竊取。
web.archive.org · youtube.com
Stuart Russell
思想同道加州大學柏克萊分校電腦科學教授
Maini 說 AI 不是下一個網際網路,而是下一次「尼安德塔時刻」。這個說法讀起來,就像把羅素的「大猩猩問題」換成一個更近的表親:當一個更有能力的物種出現在同一個世界,原本的物種會怎樣?羅素問的是,在智慧遠勝我們的機器面前,人類能否保有「主導權與自主性」;Maini 把問題推得更尖銳:尼安德塔人與智人之間的差距,遠小於我們與先進 AI 之間可預期的差距,所以這個歷史先例「其實沒那麼令人安心」。但兩人都沒有就此認命——羅素是因為這個新來者由我們設計,Maini 則認為,這場轉變仍有路可走。
youtube.com · forum.effectivealtruism.org · Stuart Russell, Human Compatible (2019)
吳恩達
思想對照AI 先驅與教育者
Maini 合著的《Machine Learning for Humans》,把吳恩達的 Coursera 機器學習課程列為第一門推薦課程,書中也借用了這門課的一張插圖。到了大方向上,學生和老師卻分道揚鑣:吳恩達說 AI 會像一百年前的電力一樣改造幾乎每個產業,而這正是 Maini 現在拒絕的類比。他說,電力和網際網路都不太對;更貼切的先例,是智人出現在尼安德塔人之間。
web.archive.org · gsb.stanford.edu · youtube.com