Tutorials
推断 OpenAI GPT-4o 的神经网络架构
OpenAI 尚未发布关于 GPT-4o 的论文，所以这个视频做了次优选择：根据 OpenAI 实际展示的能力反向工程推断神经网络架构
Tutorials
Google 通用语音模型胜过 OpenAI 的 Whisper 模型，支持 100+ 种语言
Google 通用语音模型悄然做了一件了不起的事情：在 100+ 种语言的 ASR 上与 OpenAI 的 Whisper 相当或超过，同时使用大约七分之一的标注训练数据
![[Detailed Paper Reading] Zipformer: A faster and better encoder for automatic speech recognition](/media/video/2024/02/detailed-paper-reading-zipformer-a-faster-and-better-encoder-for-automatic-speech/preview.jpg)
Tutorials
[详细论文解读] Zipformer：自动语音识别的更快更优编码器
Conformer多年来一直是默认的ASR编码器，但k2/icefall团队的Zipformer在LibriSpeech、Aishell-1和WenetSpeech上悄悄夺得WER冠军，同时更快更轻。
![[Olewave's Review] AudioLM: a Language Modeling Approach to Audio Generation](/media/video/2023/03/olewaves-review-audiolm-a-language-modeling-approach-to-audio-generation/preview.jpg)
Tutorials
Olewave的最详细RNN-T说明：使用递归神经网络进行序列转导
Alex Graves的RNN-T论文是如今几乎所有流式ASR系统的隐形祖先，从Google的设备端识别器到NeMo、ESPnet等中的无数开源转导器堆栈。
Tutorials
Google因Blake Lemoine声称AI机器人有意识而解雇他？LaMDA或ChatGPT能像人类一样思考吗？
当Google因Blake Lemoine公开声称LaMDA已具备意识而解雇他时，这个故事火遍网络，但根本问题却挥之不去：LaMDA和ChatGPT这样的大型语言模型真的会思考吗，
![[Olewave's Long Review] Xception: Deep Learning with Depthwise Separable Convolutions](/media/video/2022/07/olewaves-long-review-xception-deep-learning-with-depthwise-separable-convolutions/preview.jpg)
Tutorials
[Olewave长评] Xception: 具有深度可分卷积的深度学习
Xception将Inception假设推向了逻辑极端,通过将跨通道和空间相关性分解为完全独立的操作,而它推广的深度可分卷积现在随处可见
![[Olewave's Short Review] Xception: Deep Learning with Depthwise Separable Convolutions](/media/video/2022/07/olewaves-short-review-xception-deep-learning-with-depthwise-separable-convolutions/preview.jpg)
![[Long Review] CLAS: Deep context: end-to-end contextual speech recognition](/media/video/2022/04/long-review-clas-deep-context-end-to-end-contextual-speech-recognition/preview.jpg)
![[Long Review] Hurdles to Progress in Long Form Question Answering](/media/video/2022/04/long-review-hurdles-to-progress-in-long-form-question-answering/preview.jpg)
![[Long Review] Finetuned Language Models Are Zero-Shot Learners](/media/video/2022/03/long-review-finetuned-language-models-are-zero-shot-learners/preview.jpg)
Tutorials
[长评] 经过微调的语言模型是零样本学习器
在 InstructGPT 将指令微调变成家喻户晓的术语之前，Google 的 FLAN 论文主张，通过对自然语言指令进行适度的多任务微调，可以将一个普通的 LM 变成一个出人意料的 c
![[Long Review] 'GShard': Scaling Giant Models with Conditional Computation and Automatic Sharding](/media/video/2022/02/long-review-gshard-scaling-giant-models-with-conditional-computation-and-automatic/preview.jpg)
Tutorials
[长评] 'GShard'：使用条件计算和自动分片扩展巨大模型
将 Transformer 扩展到数千亿参数以上会很快变成哲学问题：你是激活整个网络来处理每个 token，还是将每个 token 路由给真正需要看到它的专家？