Olewave - Professional and Trustworthy - Data Services and Solutions

[Short Review] Conformer: Convolution-augmented Transformer for Speech Recognition

Tutorials

[مراجعة قصيرة] Conformer: Transformer معزز بالالتفاف للتعرف على الكلام

استحوذ Conformer على عالم ASR بقوة عاصفة بفعل شيء بسيط تقريباً: إضافة وحدة التفاف إلى كل كتلة Transformer بحيث يلتقط النموذج السياق العام والتفاصيل الصوتية المح…

يونيو 11, 2022· 1 min read

[Long Review] Axial Attention in Multidimensional Transformers

Tutorials

[Long Review] الانتباه المحوري في المحولات متعددة الأبعاد

الانتباه الذاتي الكامل على صورة أو فيديو مكلف للغاية، فكيف تحافظ على التعبيرية للمحول بدون الانفجار التربيعي؟

مايو 28, 2022· 1 min read

[Short Review] Axial Attention in Multidimensional Transformers

Tutorials

[Short Review] الانتباه المحوري في المحولات متعددة الأبعاد

الانتباه المحوري هو أحد تلك الأفكار الأنيقة التي تحافظ على المحولات قابلة للتعامل معها على البيانات عالية الأبعاد: بدلاً من الانتباه على كل بكسل أو كل صندوق وقت…

مايو 28, 2022· 1 min read

[Long Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

Tutorials

[مراجعة طويلة] نقل التعلم من التحقق من المتحدث إلى تحويل النص إلى كلام متعدد المتحدثين

هذه هي الورقة التي جعلت استنساخ الصوت بدون أمثلة عملياً: قم بتدريب مشفر المتحدث على مهمة التحقق التمييزية باستخدام آلاف الأصوات الضاخة والخالية من النصوص، ثم أد…

مايو 21, 2022· 1 min read

[Short Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

Tutorials

[مراجعة قصيرة] نقل التعلم من التحقق من المتحدث إلى تحويل النص إلى كلام متعدد المتحدثين

ورقة Google التي بدأت موجة استنساخ الصوت الحديثة بدون أمثلة لديها بنية نظيفة وجميلة: مشفر متحدث مدرب على التحقق، محلل Tacotron 2 الذي يحول النص بالإضافة إلى تض…

مايو 21, 2022· 1 min read

[Long Review] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages

Tutorials

[مراجعة طويلة] Wav2Seq: نماذج مشفر-فاك مدرب مسبقاً للكلام إلى نص باستخدام لغات وهمية

ركزت معظم طرق التدريب المسبق للكلام على جانب المشفر، wav2vec و HuBERT و WavLM، لكن ASR من تسلسل إلى تسلسل يحتاج أيضاً إلى فاك مدرب مسبقاً.

مايو 14, 2022· 1 min read

[Short Review] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages

Tutorials

[مراجعة قصيرة] Wav2Seq: نماذج مشفر-فاك مدرب مسبقاً للكلام إلى نص باستخدام لغات وهمية

وفر التدريب المسبق غير الخاضع للإشراف مثل wav2vec 2.0 مشفرات كلام ممتازة لنا، لكن بالنسبة لنظام ASR كامل مشفر-فاك، كان الفاك لا يزال يبدأ من الصفر.

مايو 14, 2022· 1 min read

[Long Review] Towards Zero-Label Language Learning

Tutorials

[Long Review] نحو التعلم اللغوي بدون تسميات

ماذا لو كان بإمكانك تدريب نماذج NLP خاصة بمهام محددة دون مثال واحد مسمى من قبل البشر؟ "نحو التعلم اللغوي بدون تسميات" يركز بشدة على هذا السؤال.

مايو 7, 2022· 1 min read

[Long Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs

Tutorials

[Long Review] Fully Sharded Data Parallel: تدريب ذكاء اصطناعي أسرع مع معالجات رسوميات أقل

كان تدريب نموذج كلام أو لغة ذو مليار معامل على ميزانية GPU متواضعة يعني الاختيار بين التوازي في خط الأنابيب أو التوازي الموتري أو تجزئة المحسن من نمط ZeRO.

إبريل 23, 2022· 1 min read

[Short Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs

Tutorials

[Short Review] Fully Sharded Data Parallel: تدريب ذكاء اصطناعي أسرع مع معالجات رسوميات أقل

Fully Sharded Data Parallel هي إجابة Meta على سؤال تسأله كل فريق كلام ولغة في النهاية: كيف نقوم بتدريب نماذج أكبر بكثير دون الحاجة إلى معالجات رسوميات أكثر بكث…

إبريل 23, 2022· 1 min read