ChatGPT製品の背後にはInstructGPT論文があり、この詳細なレビューは、生のGPT-3を人々が実際に話したいものに変えたパイプラインを詳しく説明しています。レシピは3つのステージで構成されています：望ましい振る舞いのラベラーデモンストレーション上の教師あり微調整、出力の人間ランキングで訓練されたリワードモデル、基本モデルをリワードに向かって推し進める人間フィードバックからの強化学習。RLHFは業界全体を支配した頭字語であり、ここがそれが本領を発揮した場所です。

見出しの結果は相変わらず人々を驚かせています。1.3BのInstructGPTモデルは、175B GPT-3よりも人間が好む出力を生成し、より高い真実性、より低い有毒出力、および公開NLPベンチマークでの最小限の回帰を持っています。音声AIチームがスピーチLLM、TTSスタイル制御、または会話型エージェントをユーザー意図に合わせることを考えている場合、ここのアライメント設計図はすべてのフォローアップ論文が構築するものです。このディープダイブでは、ラベリングプロトコル、リワードモデルの数学、および今日の本番対話システムを形作るトレードオフについて説明します。本質的な読書、またはこの場合、本質的な視聴です。