Olewave - Professional and Trustworthy - Data Services and Solutions

[Detailed Paper Reading] Zipformer: A faster and better encoder for automatic speech recognition

Tutorials

[상세 논문 읽기] Zipformer: 자동 음성 인식을 위한 더 빠르고 나은 인코더

Conformer은 수년 동안 기본 ASR 인코더였지만, k2/icefall 팀의 Zipformer은 더 빠르고 가벼우면서도 LibriSpeech, Aishell-1, WenetSpeech에서 조용히 WER 왕관을 차지했습니다.

2월 6, 2024· 1 min read

I-JEPA: Yannn LeCun's First 'World Model' for Computer Vision

Tutorials

I-JEPA: Yann LeCun의 첫 번째 '세계 모델' 컴퓨터 비전용

Yann LeCun은 수년 동안 생성형 사전 훈련이 세계를 이해하는 기계를 만들기 위한 잘못된 베팅이라고 주장해왔습니다.

6월 17, 2023· 1 min read

LoRA: allow a high school student to train Large Language Model (GPT-3) with a gaming graphics card

Tutorials

LoRA: 고등학생도 게이밍 그래픽 카드로 대규모 언어 모델(GPT-3)을 훈련할 수 있게 하다

175B 파라미터 GPT-3의 전체 미세 조정은 거의 모든 사람에게 현실적이지 않습니다 — 저장 공간만으로도 불가능하며, GPU는 말할 것도 없습니다.

6월 3, 2023· 1 min read

[Short Review] Conformer: Convolution-augmented Transformer for Speech Recognition

Tutorials

[단문 리뷰] Conformer: 음성 인식을 위한 Convolution-augmented Transformer

Conformer는 거의 단순한 작업을 통해 ASR 세계를 휩쓸었습니다: 각 Transformer 블록에 convolution 모듈을 붙여 모델이 전역 컨텍스트와 로컬 음향 세부 정보를 한 번에 포착할 수 있도록 했습니다.

6월 11, 2022· 1 min read

Is Nathan Chen's 4 Flip scored by Mixture-of-Experts? Part 1: Switch Transformers: sparse MoE models

Tutorials

Nathan Chen의 4회전 플립이 Mixture-of-Experts로 채점됩니까? Part 1: Switch Transformers: 희소 MoE 모델

Nathan Chen의 4회전 점수에 대한 우스갯소리로 표현되는 이 토론은 Switch Transformer를 살펴봅니다. Google의 Mixture-of-Experts 확장에 대한 깔끔하고 과감하게 단순화된 해석입니다.

2월 12, 2022· 1 min read

Is Nathan Chen's 4 Flip scored by Mixture-of-Experts? Part 2: GLaM:Efficient Scaling of LMs with MoE

Tutorials

Nathan Chen의 4 Flip이 Mixture-of-Experts로 채점되나요? Part 2: GLaM:Efficient Scaling of LMs with MoE

MoE 미니 시리즈의 Part 2는 GLaM으로 초점을 맞춥니다. Google의 1.2조-파라미터 Mixture-of-Experts 언어 모델로, 제로-샷, 원-샷, 그리고 퓨-샷 벤치마크에서 GPT-3과 동등하거나 능가하며 토큰당 약 8%의 파라미터만 활성화합니다

2월 12, 2022· 1 min read

BERT Paper Reviewed from a Speech Perspective

Tutorials

음성 관점에서 검토된 BERT 논문

BERT는 NLP에서 거의 소개가 필요 없지만, 음성 엔지니어의 관점에서 읽으면 표준 "마스크된 언어 모델링이 모든 것을 바꿨다"는 요약과는 다른 교훈들을 발견합니다.

2월 6, 2022· 1 min read

Transformer: Attention is All You Need and Listen, Attend and Spell -- from a Speech Perspective

Tutorials

Transformer: Attention is All You Need와 Listen, Attend and Spell -- 음성 관점에서

두 편의 논문, 하나의 이야기. "Attention Is All You Need"는 세계에 Transformer를 제공하고 수열 모델링이 어떻게 수행되는지를 재설정했고, "Listen, Attend and Spell" (LAS)은 엔드-투-엔드 음성에 대해 1년 먼저 동일한 일을 했습…

1월 29, 2022· 1 min read

Tag: transformer