Olewave - Professional and Trustworthy - Data Services and Solutions

[Olewave's Review] CLIP (3/3): Learning Transferable Visual Models From Natural Language Supervision

Tutorials

[Olewave评论] CLIP (3/3): 从自然语言监督学习可转移的视觉模型

CLIP评论的最后一部分聚焦于结果部分，这是OpenAI对比图文模型从有趣想法转变为整个多模态堆栈基础原语的时刻。

一月 14, 2023· 1 min read

[Olewave's Review] CLIP (2/3): Learning Transferable Visual Models From Natural Language Supervision

Tutorials

[Olewave评论] CLIP (2/3): 从自然语言监督学习可转移的视觉模型

OpenAI的CLIP通过抛弃固定标签集，转而在从互联网上抓取的4亿个(图像、文本)对上进行训练，改变了计算机视觉的游戏规则。

一月 1, 2023· 1 min read

[Olewave's Review] CLIP (1/3): Learning Transferable Visual Models From Natural Language Supervision

Tutorials

[Olewave评论] CLIP (1/3): 从自然语言监督学习可转移的视觉模型

在有BLIP、LLaVA或任何值得一提的语音LLM之前，有CLIP，故事从这里开始。

十二月 17, 2022· 1 min read

Boris Johnson’s Rise and Fall - an analysis of the mics

Tutorials

鲍里斯·约翰逊的崛起与衰落 - 麦克风分析

政治新闻通常不是语音AI工程师在周五下午排队观看的内容，但鲍里斯·约翰逊的辞职声明在一排麦克风前发表，因为他的党派因一系列丑闻而哗变

七月 9, 2022· 1 min read

[Olewave's Long Review] Xception: Deep Learning with Depthwise Separable Convolutions

Tutorials

[Olewave长评] Xception: 具有深度可分卷积的深度学习

Xception将Inception假设推向了逻辑极端,通过将跨通道和空间相关性分解为完全独立的操作,而它推广的深度可分卷积现在随处可见

七月 9, 2022· 1 min read

Dr. Fauci was caught on hot mic - 'what a moron' -- analysis from a research perspective

Tutorials

Fauci博士被开启的麦克风捕获 - '真是个白痴' -- 从研究视角进行的分析

博士

七月 2, 2022· 1 min read

Phased Array Radar on China's Aircraft Carrier Fujian 003 and Its Connection with Speech Beamforming

Tutorials

中国航母福建003上的相控阵雷达与语音波束成形的联系

中国最新航母福建003上安装的相控阵雷达和让智能音箱在嘈杂房间中听到您的麦克风阵列实际上共享相同的基础数学。

六月 25, 2022· 1 min read

How Does the All-New Dictation in iOS 16 Work? Reveal Apple's Secret Sauce by a Speech Researcher!

Tutorials

iOS 16 全新听写功能如何工作？一位语音研究员揭秘苹果的秘制配方！

苹果 iOS 16 的听写功能完全在设备本地运行，这一设计选择对延迟、隐私以及手机上可行的 ASR 架构类型产生连锁影响。

六月 18, 2022· 1 min read

[Long Review] Conformer: Convolution-augmented Transformer for Speech Recognition

Tutorials

[长评论] Conformer: 用于语音识别的卷积增强 Transformer

Conformer 是那个悄悄接管端到端 ASR 的模型，其配方——在每个 Transformer 块上添加卷积模块——被证明是那些看似简单但行之有效的想法之一。

六月 11, 2022· 1 min read

Tutorials

博士大叔使用计算机作弊降维打击2022高考数学压轴大题

当你把研究级计算机代数工具箱松开到2022年中国高考数学最难问题上时会发生什么？

六月 8, 2022· 1 min read

[Long Review] Cascaded Diffusion Models for High Fidelity Image Generation

Tutorials

[长评] 级联扩散模型高保真图像生成

在Imagen和DALL-E 2将扩散模型作为生成图像的默认选择之前，这篇Google Brain论文阐述了许多后来的文本到图像系统悄悄借鉴的级联扩散方案：从小

六月 4, 2022· 1 min read

[Short Review] Cascaded Diffusion Models for High Fidelity Image Generation

Tutorials

[短评] 级联扩散模型高保真图像生成

级联扩散是许多现代生成工作下的多阶段方案：用一个扩散模型生成小图像，然后将其交给添加高频细节的超分辨率扩散模型

六月 4, 2022· 1 min read

[Long Review] Axial Attention in Multidimensional Transformers

Tutorials

[长评] 多维Transformer中的Axial Attention

对图像或视频进行完整自注意力的计算成本太高，那么你如何在不产生二次计算爆炸的情况下保持Transformer的表达能力呢？

五月 28, 2022· 1 min read

[Short Review] Axial Attention in Multidimensional Transformers

Tutorials

[短评] 多维Transformer中的Axial Attention

Axial Attention是使Transformer在高维数据上保持可处理性的优雅想法之一：你不是一次对所有像素或所有时间-频率箱进行注意力计算，而是一次沿一个轴进行。

五月 28, 2022· 1 min read

[Long Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

Tutorials

[长评] 从说话人验证迁移学习到多说话人Text-To-Speech合成

这是使零样本声音克隆实用化的论文：在具有数千个嘈杂、无转录的声音上训练说话人编码器以进行判别验证任务，然后将这些嵌入馈送到Tacotron 2 s

五月 21, 2022· 1 min read

[Short Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

Tutorials

[短评] 从说话人验证迁移学习到多说话人Text-To-Speech合成

启动现代零样本声音克隆浪潮的Google论文具有美观简洁的架构：基于验证训练的说话人编码器、将文本加说话人嵌入转化的Tacotron 2合成器

五月 21, 2022· 1 min read

[Short Review] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages

Tutorials

[短评] Wav2Seq：使用伪语言预训练语音到文本编码器-解码器模型

像wav2vec 2.0这样的自监督预训练给了我们很好的语音编码器，但如果您想要一个完整的编码器-解码器ASR系统，解码器仍然从零开始。

五月 14, 2022· 1 min read

[Long Review] Towards Zero-Label Language Learning

Tutorials

[长评] 走向零标签语言学习

如果你可以在没有任何人工标注示例的情况下训练任务特定的NLP模型，会怎样？"走向零标签语言学习"深入探讨了这个问题。

五月 7, 2022· 1 min read

[Long Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs

Tutorials

[长评] 完全分片数据并行：用更少的GPU进行更快的AI训练

用有限的GPU预算训练十亿参数的语音或语言模型，通常需要在管道并行、张量并行或ZeRO风格优化器分片之间权衡。

四月 23, 2022· 1 min read

[Short Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs

Tutorials

[短评] 完全分片数据并行：用更少的GPU进行更快的AI训练

完全分片数据并行是Meta对每个语音和语言团队最终都会提出的问题的答案：我们如何能够训练大一个数量级的模型，而无需配置大一个数量级的GPU？

四月 23, 2022· 1 min read

[Short Review] Deduplicating Training Data Makes Language Models Better

Tutorials

[短篇评论] 数据去重使语言模型更好

你的语言模型的"泛化"有多少实际上只是简单的复述？

四月 16, 2022· 1 min read

[Long Review] CLAS: Deep context: end-to-end contextual speech recognition

Tutorials

[长篇评论] CLAS：深度上下文：端到端的上下文语音识别

任何发货过ASR产品的人都知道专有名词的痛苦：联系人名称、歌曲标题、药物名称、不知名的地名。

四月 9, 2022· 1 min read

[Long Review] Hurdles to Progress in Long Form Question Answering

Tutorials

[长篇评论] 长篇问答进展中的障碍

长篇问答是那些在排行榜上看起来令人印象深刻、在显微镜下令人不安的基准之一。

四月 2, 2022· 1 min read

[Long Review] Finetuned Language Models Are Zero-Shot Learners

Tutorials

[长评] 经过微调的语言模型是零样本学习器

在 InstructGPT 将指令微调变成家喻户晓的术语之前，Google 的 FLAN 论文主张，通过对自然语言指令进行适度的多任务微调，可以将一个普通的 LM 变成一个出人意料的 c

三月 5, 2022· 1 min read

[Long Review] 'GShard': Scaling Giant Models with Conditional Computation and Automatic Sharding

Tutorials

[长评] 'GShard'：使用条件计算和自动分片扩展巨大模型

将 Transformer 扩展到数千亿参数以上会很快变成哲学问题：你是激活整个网络来处理每个 token，还是将每个 token 路由给真正需要看到它的专家？

二月 26, 2022· 1 min read

Triplets-like Russian Figure Skaters: Can Kullback-Leibler Divergence be Used Tell Their Difference?

Tutorials

三胞胎般的俄罗斯花样滑冰运动员：Kullback-Leibler 散度能用来区分他们吗？

说话人自适应是那些 ASR 问题之一，听起来似乎已经解决，直到你实际尝试自适应一个序列到序列模型而不破坏编码器来之不易的声学表示。

二月 19, 2022· 1 min read

Is Nathan Chen's 4 Flip scored by Mixture-of-Experts? Part 1: Switch Transformers: sparse MoE models

Tutorials

Nathan Chen 的 4 周跳是由 Mixture-of-Experts 评判的吗？第 1 部分：Switch Transformers：稀疏 MoE 模型

带着对 Nathan Chen 四周跳评分的眨眼暗示，这次演讲详细讲述了 Switch Transformer，这是 Google 对 Mixture-of-Experts 扩展的简洁而激进的简化。

二月 12, 2022· 1 min read

Is Nathan Chen's 4 Flip scored by Mixture-of-Experts? Part 2: GLaM:Efficient Scaling of LMs with MoE

Tutorials

Nathan Chen的四周跳是由Mixture-of-Experts评分的吗？第2部分：GLaM：使用MoE的LMs高效扩展

MoE迷你系列的第2部分转向GLaM，Google的1.2万亿参数Mixture-of-Experts语言模型，在零样本、单样本和少样本基准上与GPT-3相当或超越，同时仅激活其约8%的参

二月 12, 2022· 1 min read

BERT Paper Reviewed from a Speech Perspective

Tutorials

从语音视角评审BERT论文

BERT在NLP领域众所周知，但从语音工程师的视角阅读会发现与标准的"掩蔽语言建模改变了一切"总结不同的一套教训。

二月 6, 2022· 1 min read

Transformer: Attention is All You Need and Listen, Attend and Spell -- from a Speech Perspective

Tutorials

Transformer：Attention is All You Need和Listen, Attend and Spell——从语音视角

两份论文，一个故事。"Attention Is All You Need"为世界带来了Transformer，改变了序列建模的方式，而"Listen, Attend and Spell"（LAS）一年前对端到端语音

一月 29, 2022· 1 min read

Tag: coursera