人間によるラベル付きの例がない状態でも、タスク固有のNLPモデルを訓練できたら？「ゼロラベル言語学習へ向けて」はこの問いに真正面から向き合っています。その秘訣は教師なしデータ生成（UDG）で、GPT-3のような大規模な事前訓練言語モデルに数ショットプロンプトを使用して独自の訓練セットを合成し、その合成データのみで下流モデルを微調整します。

このロングレビューはUDGパイプラインを詳細に説明し、その驚くべき結果を示します：合成データのみで訓練されたモデルは、人間によるアノテーションで訓練されたベースラインと同等か、それを上回る性能を発揮し、合成データとラベル付きデータをデータ拡張として混合すると、このアプローチはSuperGLUEで最先端の成績を達成します。音声とボイスAIチームにとって、その含意は明確です。これは意図分類、セマンティック解析、および人間によるアノテーションがボトルネックであるあらゆる下流のNLUタスクのラベルをブートストラップするためのプレイブックです。次の合成データパイプラインを計画している場合は、このディープダイブですべての部分を詳しく説明します。