![[Olewave's Review] CLIP (3/3): Learning Transferable Visual Models From Natural Language Supervision](/media/video/2023/01/olewaves-review-clip-3-3-learning-transferable-visual-models-from-natural-language/preview.jpg)
[Olewave's Review] CLIP (3/3): تعلم النماذج البصرية القابلة للنقل من الإشراف باللغة الطبيعية
يقع الجزء الأخير من هذا الاستعراض CLIP في قسم النتائج، وهو حيث حول نموذج OpenAI المقابل للصور والنصوص من فكرة مثيرة للاهتمام إلى عنصر بدائي على مستوى الأساس لم…
![[Olewave's Review] CLIP (2/3): Learning Transferable Visual Models From Natural Language Supervision](/media/video/2023/01/olewaves-review-clip-2-3-learning-transferable-visual-models-from-natural-language/preview.jpg)
[Olewave's Review] CLIP (2/3): تعلم النماذج البصرية القابلة للنقل من الإشراف باللغة الطبيعية
قلبت CLIP من OpenAI مسار الرؤية الحاسوبية بالتخلص من مجموعات التسميات الثابتة والتدريب بدلاً من ذلك على 400 مليون زوج (صور، نصوص) مكشوطة من الإنترنت.
![[Olewave's Review] CLIP (1/3): Learning Transferable Visual Models From Natural Language Supervision](/media/video/2022/12/olewaves-review-clip-1-3-learning-transferable-visual-models-from-natural-language/preview.jpg)
[Olewave's Review] CLIP (1/3): تعلم النماذج البصرية القابلة للنقل من الإشراف باللغة الطبيعية
قبل أن يكون هناك BLIP أو LLaVA أو أي speech-LLM جدير بالاهتمام، كان CLIP موجوداً، وهنا حيث تبدأ القصة.
ارتفاع وسقوط Boris Johnson - تحليل الميكروفونات
الأخبار السياسية عادة ليست ما يشغله مهندسو صوت الذكاء الاصطناعي ليوم الجمعة بعد الظهر، لكن إعلان استقالة Boris Johnson، الذي تم إلقاؤه أمام مصفوفة من الميكروفو…
![[Olewave's Long Review] Xception: Deep Learning with Depthwise Separable Convolutions](/media/video/2022/07/olewaves-long-review-xception-deep-learning-with-depthwise-separable-convolutions/preview.jpg)
[Olewave's Long Review] Xception: التعلم العميق مع Depthwise Separable Convolutions
أخذ Xception فرضية Inception إلى أقصاها المنطقي بدفع الارتباطات عبر القنوات والمكانية إلى عمليات منفصلة تماماً، والتحويلات Depthwise Separable التي روّجت لها تظه…
رادار المصفوفة المرحلية على حاملة الطائرات الصينية Fujian 003 وصلتها بتشكيل شعاع الكلام
مصفوفة الرادار المرحلية المثبتة على أحدث حاملة طائرات صينية، Fujian 003، ومصفوفات الميكروفون التي تسمح لمكبر الصوت الذكي الخاص بك بسماعك عبر غرفة صاخبة تشترك ف…
كيف يعمل الإملاء الجديد تماماً في iOS 16؟ كشف الصيغة السرية لشركة Apple من قبل باحث الكلام!
يعمل الإملاء في iOS 16 من Apple بالكامل على الجهاز، وهذا الخيار التصميمي الوحيد له تداعيات متسلسلة على الكمون والخصوصية، وأنواع معماريات ASR التي تكون قابلة لل…
![[Long Review] Conformer: Convolution-augmented Transformer for Speech Recognition](/media/video/2022/06/long-review-conformer-convolution-augmented-transformer-for-speech-recognition/preview.jpg)
[مراجعة طويلة] Conformer: Transformer معزز بالالتفاف للتعرف على الكلام
Conformer هو النموذج الذي استحوذ بهدوء على ASR من النهاية إلى النهاية، وصيغته، وضع وحدة التفاف على كل كتلة Transformer، تبين أنها واحدة من تلك الأفكار البسيطة …
![[Long Review] Cascaded Diffusion Models for High Fidelity Image Generation](/media/video/2022/06/long-review-cascaded-diffusion-models-for-high-fidelity-image-generation/preview.jpg)
[Long Review] نماذج الانتشار المتسلسلة لتوليد الصور عالية الدقة
قبل أن تجعل Imagen و DALL-E 2 الانتشار المعيار الافتراضي لتوليد الصور، وضعت ورقة Google Brain وصفة الانتشار المتسلسلة التي استعارتها الكثير من الأنظمة النصية إ…
![[Short Review] Cascaded Diffusion Models for High Fidelity Image Generation](/media/video/2022/06/short-review-cascaded-diffusion-models-for-high-fidelity-image-generation/preview.jpg)
[Short Review] نماذج الانتشار المتسلسلة لتوليد الصور عالية الدقة
الانتشار المتسلسل هو وصفة من مرحلتين فما فوق تحت الكثير من العمل التوليدي الحديث: توليد صورة صغيرة بنموذج انتشار واحد، ثم تسليمها إلى نماذج انتشار عالية الدقة …
![[Long Review] Axial Attention in Multidimensional Transformers](/media/video/2022/05/long-review-axial-attention-in-multidimensional-transformers/preview.jpg)
[Long Review] الانتباه المحوري في المحولات متعددة الأبعاد
الانتباه الذاتي الكامل على صورة أو فيديو مكلف للغاية، فكيف تحافظ على التعبيرية للمحول بدون الانفجار التربيعي؟
![[Short Review] Axial Attention in Multidimensional Transformers](/media/video/2022/05/short-review-axial-attention-in-multidimensional-transformers/preview.jpg)
[Short Review] الانتباه المحوري في المحولات متعددة الأبعاد
الانتباه المحوري هو أحد تلك الأفكار الأنيقة التي تحافظ على المحولات قابلة للتعامل معها على البيانات عالية الأبعاد: بدلاً من الانتباه على كل بكسل أو كل صندوق وقت…
![[Long Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis](/media/video/2022/05/long-review-transfer-learning-from-speaker-verification-to-multispeaker-text-to-speech/preview.jpg)
[مراجعة طويلة] نقل التعلم من التحقق من المتحدث إلى تحويل النص إلى كلام متعدد المتحدثين
هذه هي الورقة التي جعلت استنساخ الصوت بدون أمثلة عملياً: قم بتدريب مشفر المتحدث على مهمة التحقق التمييزية باستخدام آلاف الأصوات الضاخة والخالية من النصوص، ثم أد…
![[Short Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis](/media/video/2022/05/short-review-transfer-learning-from-speaker-verification-to-multispeaker-text-to-speech/preview.jpg)
[مراجعة قصيرة] نقل التعلم من التحقق من المتحدث إلى تحويل النص إلى كلام متعدد المتحدثين
ورقة Google التي بدأت موجة استنساخ الصوت الحديثة بدون أمثلة لديها بنية نظيفة وجميلة: مشفر متحدث مدرب على التحقق، محلل Tacotron 2 الذي يحول النص بالإضافة إلى تض…
![[Short Review] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages](/media/video/2022/05/short-review-wav2seq-pre-training-speech-to-text-encoder-decoder-models-using-pseudo/preview.jpg)
[مراجعة قصيرة] Wav2Seq: نماذج مشفر-فاك مدرب مسبقاً للكلام إلى نص باستخدام لغات وهمية
وفر التدريب المسبق غير الخاضع للإشراف مثل wav2vec 2.0 مشفرات كلام ممتازة لنا، لكن بالنسبة لنظام ASR كامل مشفر-فاك، كان الفاك لا يزال يبدأ من الصفر.
![[Long Review] Towards Zero-Label Language Learning](/media/video/2022/05/long-review-towards-zero-label-language-learning/preview.jpg)
[Long Review] نحو التعلم اللغوي بدون تسميات
ماذا لو كان بإمكانك تدريب نماذج NLP خاصة بمهام محددة دون مثال واحد مسمى من قبل البشر؟ "نحو التعلم اللغوي بدون تسميات" يركز بشدة على هذا السؤال.
![[Long Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs](/media/video/2022/04/long-review-fully-sharded-data-parallel-faster-ai-training-with-fewer-gpus/preview.jpg)
[Long Review] Fully Sharded Data Parallel: تدريب ذكاء اصطناعي أسرع مع معالجات رسوميات أقل
كان تدريب نموذج كلام أو لغة ذو مليار معامل على ميزانية GPU متواضعة يعني الاختيار بين التوازي في خط الأنابيب أو التوازي الموتري أو تجزئة المحسن من نمط ZeRO.
![[Short Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs](/media/video/2022/04/short-review-fully-sharded-data-parallel-faster-ai-training-with-fewer-gpus/preview.jpg)
[Short Review] Fully Sharded Data Parallel: تدريب ذكاء اصطناعي أسرع مع معالجات رسوميات أقل
Fully Sharded Data Parallel هي إجابة Meta على سؤال تسأله كل فريق كلام ولغة في النهاية: كيف نقوم بتدريب نماذج أكبر بكثير دون الحاجة إلى معالجات رسوميات أكثر بكث…
![[Short Review] Deduplicating Training Data Makes Language Models Better](/media/video/2022/04/short-review-deduplicating-training-data-makes-language-models-better/preview.jpg)
[مراجعة قصيرة] إلغاء تكرار بيانات التدريب يجعل نماذج اللغة أفضل
كم من "التعميم" في نموذج اللغة الخاص بك هو في الواقع مجرد إعادة إنتاج؟