InstructGPTが指示チューニングを一般的な用語にする前に、GoogleのFLAN論文は、自然言語指示に対する適度な量のマルチタスク微調整が、普通のLMを驚くほど有能なゼロショット学習器に変えることができるという主張をしました。Jeff Deanの2021年研究レビューで注目されたFLANは、数十のNLPタスクを指示として再定式化し、137Bパラメータモデルを微調整し、その後、トレーニング中に見たことのない保持されたタスククラスで評価します。

このロングレビューは、タスク体系、指示テンプレート、およびFLANがベンチマークの大多数でGPT-3ゼロショットを上回る結果を詳細に説明します。音声AI技術者がプロンプト駆動型対話システムを設計したり、会話型製品のカスタムLLMバックエンドを構築したりする場合、FLANは指示チューニングが機能する理由、小さなモデルに悪影響を与える場合、およびタスク多様性が実際にもたらすもの についての必須の背景知識です。FLANから最新のチャットチューニングアシスタントまでの知的系統を理解したいのであれば、時間を費やす価値があります。