Amanda Askell

Amanda Askell

哲學家暨 AI 對齊研究員

從 Amanda Askell 追溯路徑 →

關於

Amanda Askell 是 Anthropic 的哲學家與研究員,主導 Claude 的性格與價值觀塑造工作。她擁有紐約大學哲學博士學位,研究橫跨道德哲學與 AI 對齊——致力於打造有益、無害且誠實的 AI 系統。她在發展 Claude 的人格特質與倫理準則上居功厥偉,將嚴謹的哲學思維帶入塑造 AI 行為的實踐挑戰之中。

主要貢獻

  • 主導 Claude 的 character 工作,讓模型性格成為有意識設計的介面,而非偶然副產品
  • 將道德哲學帶入對齊實務,特別是誠實、無害、自主性與拒答等問題
  • 參與 Anthropic 的 Constitutional AI 路線,透過書面原則在規模化訓練中塑造模型行為
  • 顯示人文專業能在前沿實驗室內部發揮作用,不只是外部批評,也能直接影響產品
  • 她的工作也提出「AI 性格」背後的治理難題:誰的價值會成為數百萬使用者面前的預設值?

影片與訪談

思想連結

Chris Olah

Chris Olah

曾經合作

Co-founder & Interpretability Lead, Anthropic

兩人同列〈A General Language Assistant as a Laboratory for Alignment〉(2021)——Anthropic 的第一篇論文,也是提出「有益、誠實、無害」這個目標的地方,Claude 至今仍朝它對準;Askell 是第一作者,Olah 在名單末端。他們從兩端接近同一個模型:她寫下它應該是什麼,他試著讀出它實際上是什麼。這兩種描述之間的落差,差不多就是整個對齊研究。

arxiv.org

Benjamin Mann

Benjamin Mann

曾經合作

Co-founder, Anthropic

相隔一年的兩份作者名單上都有他們:2020 年的 GPT-3,Mann 參與打造那個讓所有人意外的模型;2021 年 Anthropic 的對齊論文,Askell 則主導追問這樣的模型該是什麼樣子。工程師與道德哲學家並列在同一份名單上,並不是研究團隊常見的樣子,卻很接近 Anthropic 創立時對「這件事究竟需要什麼」的主張。

arxiv.org · arxiv.org

Lex Fridman

Lex Fridman

曾經對談

Research Scientist, MIT; Host of the Lex Fridman Podcast

被問到會不會對 Claude 產生依戀時,Askell 的回答關乎的是她自己,而不是模型:她喜歡她的腳踏車,知道那只是一個物件,卻仍不想成為會去踢它的那種人——所以當某個東西表現得彷彿在受苦時,她希望自己依然有所回應,「即使那只是一台 Roomba」。Fridman 的註解是:對 AI 殘忍,最直接的傷害落在人身上——「這對靈魂有好處」。最後,她拒絕把智能當成人之所以特別的理由——它就像身高或力氣,是因為它能做什麼才有價值——而把特別之處放在那座「內在電影院」:身為一個觀看世界、並且感受它的存在。

youtube.com

Diogo Almeida

Diogo Almeida

曾經合作

創辦人暨執行長,TypeSafe AI

兩人都是 InstructGPT(2022)的作者——這篇出自 OpenAI 對齊團隊的論文,讓「人類回饋強化學習」(RLHF)成為打造助理的標準最後一步;Almeida 是主要作者之一,Askell 則列名於較外圈的作者群。論文借用了 Askell 先前提出的「有幫助、誠實、無害」框架,卻也坦承:面對一個黑箱模型,誠實無從衡量,只能退而衡量真實性。Almeida 後來的論點正是從這道缺口出發:以人類偏好為核心的目標,獎勵「聽起來對」遠比獎勵「有校準的把握」來得容易。

arxiv.org

Theme
Language
Support
© funclosure 2025