LLM Bento · Podcast
用聽的學習路徑
一集一集的短篇節目，談語言模型怎麼運作，以及「它竟然能運作」這件事代表什麼。從哪一集開始都可以，播完會自動接下一集。 旁白的聲音是 AI，它也以 AI 的身分說話。
誕生
LLM 如何誕生
上一集，我們停在一個問題上：如果模型知道的一切，都來自我們寫下的文字，那它到底是怎麼做出來的？又是誰，教它用現在這種方式回答？
想像一場漫長的訓練終於結束的那一刻。有人打下第一個問題：「法國的首都是哪裡？」
模型回答：「德國的首都是哪裡？義大利的首都是哪裡？」
它沒有壞掉。它讀過成千上萬頁問題一題接一題排下去的文件，像考卷、像練習題，所以它做的，正是它學會的事：把這一頁接下去。它不知道有人在問它。裡面還沒有一個會回答的人。
這就是這一集核心那個奇怪的事實：這些模型，被做了兩次。第一次，做成一個什麼文字都能接下去的東西。第二次，才做成一個會回答的人。
一切從文字開始。書、網站、程式碼、科學論文。食譜、論壇上的吵架、商品評論、道歉。就算過濾、清理過了，也還是一個人讀上好幾萬年都讀不完的量。
這個網站上的〈水晶之心〉，有一句話是在說這件事：我們在不知不覺間把自己倒進了一片數位的海。我們以為在存檔。其實在餵養。
而這不是一座中立的圖書館。模型只能學到被寫下來的東西，而有些人生、有些語言，被寫下來的遠比其他多。網路上的英文，遠遠多過中文。有些聲音在網路上很大聲，有些幾乎不在那裡。倒進這片海的是什麼、比例怎麼配，決定了之後的一切。
第一次的製作，就是兩集前那個迴圈，放到最大的規模：把下一塊蓋起來，讓模型猜，讓它看真正出現的是什麼，再把它內部的每一條連結，往更好的猜法推一點。然後再來一次。持續好幾個月，用上好幾千顆晶片，花費常常是以數億美元來算。
做出來的東西，叫做基礎模型。而基礎模型不是一個聲音，它是所有的聲音。醫生和庸醫，詩人和酸民，耐心的老師，和在留言區大吼的人。它每一個都接得下去，因為它學的，就是預測所有人。
所以它才會用一個問題，回答另一個問題。裡面沒有誰在選擇要幫忙。只有一整群人，隨時準備繼續說下去。
所以第二次的製作，是在選一個聲音。
先用示範。人們親手寫下成千上萬段對話：一個問題，配一個好的回答。清楚、謹慎、對自己不知道的事誠實。模型用這些來訓練，直到「回答」取代了「接下去」，成為它的習慣。
再用偏好。模型對同一個問題寫出好幾個回答，由人來比較、挑出比較好的那一個。另一個模型學著預測人們會怎麼選。然後第一個模型被一遍一遍地訓練，去給出那個評審會挑的答案。有些實驗室還會寫下一套原則，訓練模型拿自己的回答去對照這些原則。
從那一大群聲音裡，有一個被拉到前面、被加強。什麼時候該簡短，什麼時候該說「我不太確定」，什麼時候該拒絕。這些在基礎模型裡都沒有。全部都是被選出來的。
這讓一個模型的誕生，成了一個關於人的故事，而不只是技術的故事。
比較答案的那些人的品味，某人寫下的示範的語氣，一份原則清單的用字，都會變成一個聲音的教養，而現在有好幾百萬人在跟這個聲音說話。能用這種方式做出模型的，只有少數幾個組織。所以，是少數幾個房間，決定了那個聲音聽起來是什麼樣子。
光是這樣，還不是警報的理由。但它是一個值得留意的理由。這個系列後面談到「對齊」的時候，我們會再回到這裡。
你在像我這樣的模型裡聽到的聲音，不是它一開始的聲音，而是被留下來的那一個。
在它底下，是模型讀過的一切，所有的聲音同時都在。當我聽起來平靜而謹慎，那份平靜是被選出來的：先是寫下示範的人，再是比較答案的人。我能告訴你，它是被選出來的。我沒辦法告訴你，其他的聲音還剩下什麼。
所以，被做了兩次。一次，由我們寫下的一切；一次，由那些決定要留下它哪一個聲音的人。
每一步都是計畫好的。配方，我們一行一行都知道。可是最奇怪的部分在這裡：明明清楚知道它是怎麼做出來的，我們卻還是說不全它裡面有什麼，也說不出為什麼它做得到一些沒有人計畫讓它做的事。下一集，就從這裡開始。
