ChatGPTは外から見るとマジックのように見えますが、どこを探すかを知っていれば、レシピはよく文書化されており、この3分の説明は主要な考え方を凝縮しています。システムはGPT-3クラスの基本モデルから始まり、次にInstructGPTパイプラインを適用します：人間が書いたデモンストレーション上の教師あり微調整、人間の好みランキングから訓練されたリワードモデル、モデルをユーザーが実際に望む方向に調整する人間フィードバックからの強化学習。

製品の背後にある注目すべき結果は、1.3BのInstructGPTモデルが175B GPT-3を人間の好み評価で上回り、より低い有毒出力とより良い指示追従により、100倍少ないパラメータで達成したことです。会話型音声エージェント、アライメント調整されたスピーチLLM、またはChatGPTが生の完了APIとは異なる理由を理解しようとしている誰もが、この圧縮概要は論文読書の手間なしでメカニズムをカバーしています。コーヒーを作る時間で精神モデルを得たければ再生を押してください。