InstructGPT가 지시어 튜닝을 일상적인 표현으로 만들기 전에, Google의 FLAN 논문은 자연어 지시어에 대한 적당한 양의 다중 작업 미세조정이 평범한 LM을 놀랍도록 유능한 제로샷 학습자로 변환할 수 있다고 주장했습니다. Jeff Dean의 2021년 연구 요약에서 강조된 바와 같이, FLAN은 수십 개의 NLP 작업을 지시어로 재구성하고, 137B-매개변수 모델을 미세조정하며, 훈련 중에 본 적 없는 보류된 작업 클러스터에서 평가합니다.

이 긴 리뷰는 작업 분류체계, 지시어 템플릿, 그리고 FLAN이 대부분의 벤치마크에서 원본 GPT-3 제로샷을 능가했음을 보여주는 결과를 다룹니다. 프롬프트 기반 대화 시스템을 설계하거나 대화형 제품용 맞춤형 LLM 백엔드를 구축하는 음성 AI 엔지니어들을 위해, FLAN은 지시어 튜닝이 작동하는 이유, 그것이 더 작은 모델을 해치는 때, 그리고 작업 다양성이 실제로 무엇을 제공하는지에 대한 필수 배경 정보입니다. FLAN에서 현대의 채팅 튜닝 보조자를 통해 실행되는 지적 계보를 이해하고 싶다면 시간 투자할 가치가 있습니다.