ChatGPT 從外面看起來像魔法，但其配方是有據可查的（如果你知道去哪裡找的話），這個三分鐘的講解器濃縮了核心思想。系統從 GPT-3 級別的基礎模型開始，然後應用 InstructGPT 管道：基於人類編寫示範的監督微調、從人類偏好排名訓練的獎勵模型，以及人類反饋強化學習以使模型與用戶真正想要的內容對齐。

該產品背後的引人注目結果是 1.3B InstructGPT 模型在人類偏好評估中擊敗了 175B GPT-3，輸出毒性更低、指令遵循能力更強，同時參數減少了一百倍。對於任何構建對話語音代理、對齁調整的語音 LLM 或試圖理解為什麼 ChatGPT 與原始完成 API 感覺不同的人來說，這個精簡概述涵蓋了機制而無需花時間讀論文。如果你想在製作咖啡的時間內獲得心智模型，就按播放鍵。