رفضت OpenAI بشهرة الكشف عن هندسة معمارية GPT-4 وعدد المعاملات وبيانات التدريب أو ميزانية الحوسبة، مما حول التقرير التقني إلى اختبار Rorschach لمجتمع ML. يتبنى هذا الفيديو نهجاً معاكساً: جمع الإجابات المعقولة من التسريبات العامة وقوانين التوسع السابقة لـ GPT-3 و ChatGPT والتلميحات الخاصة برؤية-النص المتناثرة في التقرير. إنها تكهنات واضحة الوسم، لكنها مرتكزة على أرقام يمكن لأي شخص يعمل مع نماذج كبيرة أن يفكر فيها.

توقع جولة عبر نطاقات حجم النموذج المحتملة وفرضيات mixture-of-experts وتكوين بيانات التدريب متعدد الأنماط وتقديرات GPU-ساعة والرقم الفلكي للدولار المرتبط بتشغيل التدريب بهذا الحجم. بالنسبة لفرق voice-AI التي تنظر إلى أنظمة speech-plus-text متعددة الأنماط أو تحاول تبرير ميزانيات الحوسبة الخاصة بهم لـ CFO، فإن الإطار هنا مفيد حتى لو تغيرت الأرقام الدقيقة. تعاملوا معه كفرضية منظمة وليس كتسريب، وانظروا إلى كم تقترب التخمينات من الواقع مقارنة بما تم الكشف عنه منذ ذلك الحين. تستحق 15 دقيقة إذا كنت تريد نموذج عقلي لاقتصاديات التدريب الحدودي.