ChatGPT 제품 뒤에는 InstructGPT 논문이 있으며, 이 상세 리뷰는 원시 GPT-3을 사람들이 실제로 대화하고 싶어 하는 것으로 변환한 파이프라인을 자세히 분석합니다. 레시피는 세 단계로 구성됩니다: 원하는 행동에 대한 라벨러 시연을 통한 감독 미세조정, 출력의 인간 순위에서 훈련된 보상 모델, 그리고 기본 모델을 보상으로 밀어주는 인간 피드백에서의 강화 학습. RLHF는 업계를 지배하는 약자이며, 이것이 바로 RLHF가 업계에서 그 이름을 얻은 곳입니다.

주요 결과는 여전히 사람들을 놀라게 합니다: 1.3B InstructGPT 모델은 175B GPT-3보다 인간이 선호하는 출력을 생성했으며, 더 높은 진실성, 낮은 독성 출력, 공개 NLP 벤치마크에서 최소 성능 저하를 보였습니다. 음성 AI 팀이 음성 LLM, TTS 스타일 제어, 또는 대화형 에이전트의 정렬을 생각하고 있다면, 여기서의 정렬 청사진은 모든 후속 논문이 기반을 두는 것입니다. 심층 분석은 라벨링 프로토콜, 보상 모델 수학, 그리고 오늘날의 프로덕션 대화 시스템을 형성하는 절충을 다룹니다. 필수적인 읽을거리이자, 이 경우 필수적인 시청 자료입니다.