關於
Emmanuel Ameisen 是 Anthropic 的可解釋性研究員,研究像 Claude 這樣的大型語言模型是怎麼得出它所說的話。他從應用機器學習走進研究:曾在 Zipcar 擔任資料科學家;在 Insight 擔任 AI 負責人,協助數百位學員完成應用機器學習專案;也曾在 Stripe 擔任機器學習工程師,改進其核心詐欺偵測模型。這段實務經驗後來寫成 O'Reilly 出版的《Building Machine Learning Powered Applications》(2020)。他在 Anthropic 先是參與微調 Claude 的工具使用能力,之後轉往可解釋性研究,是〈Circuit Tracing〉(2025)的第一作者,也是其姊妹篇〈On the Biology of a Large Language Model〉的共同作者——後者抓到模型在寫出那一行之前,就已選好了要押的韻腳。他反覆強調的一點是:模型是長出來的,而不是造出來的,所以研究它們更接近生物學而非工程;而且你往裡面看得越多,就越不確定。
主要貢獻
- 〈Circuit Tracing: Revealing Computational Graphs in Language Models〉(2025)第一作者,提出歸因圖方法,逐步追蹤模型的運算過程
- 共同撰寫〈On the Biology of a Large Language Model〉(2025),其案例研究發現 Claude 會預先規劃韻腳,並使用跨語言共享的概念
- 著有《Building Machine Learning Powered Applications》(O'Reilly,2020),一本從產品構想到模型上線的實務指南
- 擔任 Insight 的 AI 負責人期間,帶領數百位學員完成應用機器學習專案
- 共同撰寫後續的電路研究,包括注意力機制(〈Tracing Attention Computation Through Feature Interactions〉)與計數任務的幾何結構(〈When Models Manipulate Manifolds〉)
影片與訪談
論文與出版物
Circuit Tracing: Revealing Computational Graphs in Language Models
2025The method paper: replace a model's internals with interpretable features, then draw the attribution graph of how they combine to produce one output.
閱讀論文On the Biology of a Large Language Model
2025The companion case studies: attribution graphs turned on Claude, finding rhymes planned in advance, multi-step reasoning, and concepts shared across languages.
閱讀論文