[Long Review] Finetuned Language Models Are Zero-Shot Learners

Tutorials

[مراجعة طويلة] نماذج اللغات المدربة بالضبط هي متعلمون بدون لقطات صفرية

قبل أن يجعل InstructGPT ضبط التعليمات عبارة شائعة، قدمت ورقة FLAN من Google الحالة بأن قدراً متواضعاً من الضبط الدقيق متعدد المهام على تعليمات اللغة الطبيعية يمكن أن يحول نموذج LM عادي إلى متعلم بدون لقطات مذهل c

قبل أن يجعل InstructGPT ضبط التعليمات عبارة شائعة، قدمت ورقة FLAN من Google الحالة بأن قدراً متواضعاً من الضبط الدقيق متعدد المهام على تعليمات اللغة الطبيعية يمكن أن يحول نموذج LM عادي إلى متعلم بدون لقطات صفري مذهل. تم إبرازها في ملخص بحث Jeff Dean لعام 2021، تعيد FLAN صياغة عشرات من مهام NLP كتعليمات، وتضبط نموذج 137B-parameter بدقة عليها، ثم تقيمها على مجموعات مهام محفوظة لم تشهدها أثناء التدريب.

يعمل هذا التقرير الطويل من خلال تصنيف المهام وقوالب التعليمات والنتائج التي تظهر FLAN تهزم GPT-3 الخام بدون لقطات على غالبية المقاييس. بالنسبة لمهندسي الذكاء الاصطناعي الصوتي الذين يصممون أنظمة حوار تحركها التعليمات أو بناء الخوادم الخلفية LLM مخصصة للمنتجات الحوارية، FLAN هو الخلفية الأساسية حول سبب عمل ضبط التعليمات، وعندما يؤذي النماذج الأصغر، وما الذي تشتريه تنوع المهام حقاً. يستحق الوقت جيداً إذا كنت تريد فهم النسب الفكري الذي يمتد من FLAN من خلال المساعدين المضبوطين على الدردشة الحديثة.