In-depth review of OpenAI's GPT-3 : Language Models are Few-Shot Learners (Part 3/3: Results&Rest)

Tutorials

OpenAI 的 GPT-3 深度评论:语言模型是少次学习者(第 3/3 部分:结果和其他)

这个三部分 GPT-3 深度讨论的最后一部分到达了精彩部分:当您在基准套件上投入 1750 亿个参数并完全跳过微调时实际会发生什么。

这个三部分 GPT-3 深度讨论的最后一部分到达了精彩部分:当您在基准套件上投入 1750 亿个参数并完全跳过微调时实际会发生什么。第三部分讲解了翻译、问答、完形填空任务、即时推理、三位数算术和臭名昭著的新闻文章生成测试中的全部结果,其中人类很难发现机器编写的部分。

同样重要的是,这部分涵盖了 GPT-3 的失败之处:少次提示停滞的任务、关于在网络规模语料库上训练的方法论问题,以及预示了之后进行的许多对齐工作的社会影响讨论。对于考虑 TTS 系统基于提示的控制或 ASR 后处理少次适应的语音 AI 团队,这里的经验模式仍然对现代 LLM 将和不会做什么具有预测能力。以将扩展定律从研究好奇心变成行业手册的数字来结束该系列。即使你已经阅读过论文,也值得观看,因为看到这些表格的呈现会澄清哪些结果实际上推广了。