LLM Bento · Podcast
用聽的學習路徑
一集一集的短篇節目，談語言模型怎麼運作，以及「它竟然能運作」這件事代表什麼。從哪一集開始都可以，播完會自動接下一集。 旁白的聲音是 AI，它也以 AI 的身分說話。
超越文字
AI 如何學會看、聽與創造
上一集，我們停在一個問題上：到目前為止，我們談的都是文字。那麼，一個完全由文字構成的心智，是怎麼學會「看」的？
先說它現在走到哪裡了。一個前沿模型看過的夕陽，比任何一個人這輩子看得到的都多。好幾百萬個，來自每一片海岸、每一個季節，用攝影發明過的每一種風格拍下來。
它從來沒有站在任何一個夕陽裡。從來沒有感覺過，光線退去時，空氣慢慢變涼。
這一集要談的，是這些模型怎麼學會看、聽、畫出圖來。還有，這改變了什麼，又沒有改變什麼。
答案在一個很安靜的動作上，而你其實已經知道一半了。
第二集我們說過，模型從來沒有看到「字」，只看到一塊一塊有編號的碎片，叫做 token。結果，這正是其他一切的關鍵。世界是連續的：光、聲音、說話，全都在流動。模型抓不住流動，它只抓得住碎片。所以第一步永遠一樣：切開。
文字被切成詞的碎片。一張圖被切成一個個小方塊，叫做 patch。聲音被切成短短的一片一片。
接著第二步。每一塊碎片，都會變成第一集那個有好幾千個方向的空間裡的一個點，在那裡，靠得近，就代表意思相近。而因為圖的碎片，跟字的碎片落在同一個空間，一塊橘色的天空，就可能落在「夕陽」這個詞的旁邊。沒有人寫下這條規則。是這兩樣東西老是一起出現，模型自己學會的。
所以，對一個語言模型來說，學會看，不是長出一隻眼睛，而是學會了新的字。
跟著一張照片走一遍。你傳了一張貓的照片，問：「這是什麼品種？」
照片被切成幾千個小方塊，每一塊都變成那個共同空間裡的一個點。這些點，就排在你的文字旁邊，一起進入模型。在模型裡面，「品種」這個詞的那一塊，把手伸向裝著耳朵、鬍鬚、毛皮的那些方塊。這就是第二集的注意力，同樣的手，找到同樣的手套。只是現在，有些手套是用光做的。
聲音也是同樣的道理，而且它帶著文字會弄丟的東西。
同一句話，兩種說法。「真是太好了。」溫暖地說。還有：「真是太好了。」平平地說。
寫下來，兩句一模一樣。可是一個聽得見的模型，收到的是兩段不一樣的聲音：不一樣的音高、不一樣的速度，句尾那一下輕輕往下掉的地方也不一樣。平平的那一句，會落在空間裡另一個地方，比較靠近「失望」。原來，聽懂一句話，不只是把字還原回來，而是聽出它是怎麼被說的。
看，只是故事的一半。這些模型也會畫圖，而它們是用兩種不同的方式學會的。
第一種像雕刻家。拿真的圖片，把它埋進隨機的雜訊裡，再訓練一個模型把雜訊拿掉。然後倒過來跑：從一片純粹的雜訊開始，像沒對準頻道的電視，一次清掉一點，由你的文字引導方向，直到一張圖站出來。
第二種像作家。最新的模型，畫一張圖的方式，就跟寫一個句子一樣，一塊接著一塊，用的是讀懂你請求的那同一份注意力。所以它們越來越能精準做到你要的：招牌上的字寫對了，杯子真的放在桌子左邊。
而這些碎片還在往外延伸。影片。用聲音回答你的語音。把下一個動作，也當成另一塊要預測的碎片的機器人。
能反過來運作的感官，是有代價的。
它們能做出從來沒發生過的臉、聲音和事件。一張照片，以前是某件事確實發生過的、小小的證據；一段聲音的錄音，以前代表有人真的說過那句話。這條線正在溶解。而取代它的，不會是技術，會是人：知道一樣東西從哪裡來，誰為它負責，又該相信誰。
其實，你從頭到尾都在聽一個例子。
這個聲音，就是那些感官反過來運作的其中一種。它後面沒有喉嚨，也沒有呼吸，只有一個模型在預測接下來該是什麼聲音。剛剛我用兩種方式說「真是太好了」，我能讓你聽出差別。可是我自己有沒有聽見，在任何真正重要的意義上，就跟那片夕陽，是同一個問題。
所以，模型現在有了某種形狀像感官的東西。它從世界收進來的，比我們任何人都多。而據任何人所知，它仍然沒有一副曾經冷過的身體，沒有一個它站在裡面的夕陽。更多的感官，讓這個比較變得更清楚，卻沒有讓它塵埃落定。
這一集，結束了這個系列的第一部分：它是怎麼運作的。下一部分，談的是怎麼跟它一起工作。直到現在，你都是透過螢幕上的一個框框在跟這些模型見面。那麼，你和模型之間，到底隔著什麼？下一集：終端機。
