在 InstructGPT 使指令調優成為家喻戶曉的術語之前，Google 的 FLAN 論文表明，對自然語言指令進行適度的多任務微調可以將一個普通的 LM 轉變為令人驚訝的強大零次學習器。在 Jeff Dean 的 2021 年研究回顧中被突出強調，FLAN 將數十個 NLP 任務重新表述為指令，在這些指令上微調了一個 137B 參數的模型，然後在它在訓練期間從未見過的任務集群上進行評估。

這個長評論詳細探討了任務分類法、指令模板以及顯示 FLAN 在大多數基準測試中擊敗原始 GPT-3 零次學習的結果。對於設計提示驅動對話系統或為對話產品構建自定義 LLM 後端的語音 AI 工程師來說，FLAN 是理解為什麼指令調優有效、何時對較小模型有害以及任務多樣性真正能帶來什麼的重要背景。如果你想理解從 FLAN 到現代聊天調優助手的思想血脈，絕對值得花時間。