在 ChatGPT 產品背後是 InstructGPT 論文，這篇詳細評測拆解了將原始 GPT-3 轉變為人們真正想要對話的東西的管道。該配方有三個階段：在標註者示範的理想行為上進行監督微調、在人類輸出排名上訓練的獎勵模型，以及將基礎模型推向獎勵的人類反饋強化學習。RLHF 是風靡業界的首字母縮寫，這正是它大顯身手的地方。

主要結果仍然令人驚訝：1.3B InstructGPT 模型產生的輸出受到人類的偏好，優於 175B GPT-3，具有更好的真實性、更少的有毒輸出，以及在公開 NLP 基準上的最小迴歸。對於考慮對齐語音 LLM、TTS 風格控制或對話代理與用戶意圖的語音 AI 團隊來說，這裡的對齁藍圖是每篇後續論文都依賴的基礎。深度分析涵蓋了標記協議、獎勵模型數學，以及塑造當今生產對話系統的權衡。必讀，或在此情況下，必看。