關於
Amanda Askell 是 Anthropic 的哲學家與研究員,主導 Claude 的性格與價值觀塑造工作。她擁有紐約大學哲學博士學位,研究橫跨道德哲學與 AI 對齊——致力於打造有益、無害且誠實的 AI 系統。她在發展 Claude 的人格特質與倫理準則上居功厥偉,將嚴謹的哲學思維帶入塑造 AI 行為的實踐挑戰之中。
主要貢獻
- 主導 Claude 的 character 工作,讓模型性格成為有意識設計的介面,而非偶然副產品
- 將道德哲學帶入對齊實務,特別是誠實、無害、自主性與拒答等問題
- 參與 Anthropic 的 Constitutional AI 路線,透過書面原則在規模化訓練中塑造模型行為
- 顯示人文專業能在前沿實驗室內部發揮作用,不只是外部批評,也能直接影響產品
- 她的工作也提出「AI 性格」背後的治理難題:誰的價值會成為數百萬使用者面前的預設值?
影片與訪談
Amanda Askell Answers Questions About Claude's Character
Anthropic philosopher answers community questions about her work shaping Claude
View Details
Amanda Askell Segment: Claude's Character Training
Segment from Lex Fridman Podcast #452 discussing the ethical and epistemic virtues Claude should enact
View Details思想連結
Chris Olah
曾經合作Co-founder & Interpretability Lead, Anthropic
兩人同列〈A General Language Assistant as a Laboratory for Alignment〉(2021)——Anthropic 的第一篇論文,也是提出「有益、誠實、無害」這個目標的地方,Claude 至今仍朝它對準;Askell 是第一作者,Olah 在名單末端。他們從兩端接近同一個模型:她寫下它應該是什麼,他試著讀出它實際上是什麼。這兩種描述之間的落差,差不多就是整個對齊研究。
arxiv.org
Benjamin Mann
曾經合作Co-founder, Anthropic
相隔一年的兩份作者名單上都有他們:2020 年的 GPT-3,Mann 參與打造那個讓所有人意外的模型;2021 年 Anthropic 的對齊論文,Askell 則主導追問這樣的模型該是什麼樣子。工程師與道德哲學家並列在同一份名單上,並不是研究團隊常見的樣子,卻很接近 Anthropic 創立時對「這件事究竟需要什麼」的主張。
arxiv.org · arxiv.org
Lex Fridman
曾經對談Research Scientist, MIT; Host of the Lex Fridman Podcast
被問到會不會對 Claude 產生依戀時,Askell 的回答關乎的是她自己,而不是模型:她喜歡她的腳踏車,知道那只是一個物件,卻仍不想成為會去踢它的那種人——所以當某個東西表現得彷彿在受苦時,她希望自己依然有所回應,「即使那只是一台 Roomba」。Fridman 的註解是:對 AI 殘忍,最直接的傷害落在人身上——「這對靈魂有好處」。最後,她拒絕把智能當成人之所以特別的理由——它就像身高或力氣,是因為它能做什麼才有價值——而把特別之處放在那座「內在電影院」:身為一個觀看世界、並且感受它的存在。
youtube.com
Diogo Almeida
曾經合作創辦人暨執行長,TypeSafe AI
兩人都是 InstructGPT(2022)的作者——這篇出自 OpenAI 對齊團隊的論文,讓「人類回饋強化學習」(RLHF)成為打造助理的標準最後一步;Almeida 是主要作者之一,Askell 則列名於較外圈的作者群。論文借用了 Askell 先前提出的「有幫助、誠實、無害」框架,卻也坦承:面對一個黑箱模型,誠實無從衡量,只能退而衡量真實性。Almeida 後來的論點正是從這道缺口出發:以人類偏好為核心的目標,獎勵「聽起來對」遠比獎勵「有校準的把握」來得容易。
arxiv.org