[مراجعة طويلة] إلغاء تكرار بيانات التدريب يجعل نماذج اللغة أفضل

يبدو إلغاء التكرار ممل حتى تتعلم أن جملة واحدة من 61 كلمة تظهر أكثر من 60,000 مرة داخل C4، وأن نماذج اللغة المدربة على مثل هذه المجموعات تعيد نص بيانات التدريب للمستخدمين بطريقة مقلقة