인간이 레이블을 지정한 단 하나의 예제 없이 작업별 NLP 모델을 학습시킬 수 있다면 어떨까요? "Towards Zero-Label Language Learning"은 이 질문을 강하게 제기합니다. 비결은 비지도 데이터 생성(UDG)으로, GPT-3과 같은 대규모 사전학습 언어 모델에서 소수 예제 프롬프트를 사용하여 고유한 학습 세트를 합성한 후, 순수하게 그 합성 데이터에 대해 다운스트림 모델을 미세조정합니다.

이 긴 리뷰는 UDG 파이프라인을 세부적으로 다루고 놀라운 결과를 제시합니다: 순수하게 합성 데이터에서 학습된 모델은 실제 인간이 주석을 지정한 기준선과 동등하거나 이를 능가하며, 합성 데이터와 레이블된 데이터를 증강으로 혼합할 때, 이 접근 방식은 SuperGLUE에서 새로운 최첨단 수치를 설정합니다. 음성 및 음성 AI 팀의 경우, 이 의미는 직접적입니다. 이는 의도 분류, 의미 파싱, 및 인간 주석이 병목인 모든 다운스트림 NLU 작업에 대해 레이블을 부트스트랩하기 위한 플레이북입니다. 다음 합성 데이터 파이프라인을 계획 중이라면 깊이 있는 설명은 모든 부분을 다룹니다.