Google이 AI 봇이 센티언트라고 말한 Blake Lemoine을 해고했나? LaMDA나 ChatGPT가 인간처럼 생각할까?
Google이 LaMDA가 센티언트가 되었다는 주장을 공개한 Blake Lemoine을 해고했을 때, 그 이야기는 바이럴이 되었지만, 근본적인 질문이 남았습니다: LaMDA와 ChatGPT와 같은 대규모 언어 모델이 실제로 생각을
[Long Review] CLAS: 깊은 문맥: 종단간 문맥적 음성 인식
ASR 제품을 출시한 사람이라면 누구나 고유명사의 고통을 알고 있습니다: 연락처 이름, 노래 제목, 약물 이름, 모호한 장소 이름.
[긴 리뷰] 미세조정된 언어 모델은 제로샷 학습자
InstructGPT가 지시어 튜닝을 일상적인 표현으로 만들기 전에, Google의 FLAN 논문은 자연어 지시어에 대한 적당한 양의 다중 작업 미세조정이 평범한 LM을 놀랍도록 c
[긴 리뷰] 'GShard': 조건부 연산 및 자동 샤딩으로 거대 모델 확장
Transformer를 100억 개 이상의 매개변수로 확장하는 것은 빠르게 철학적이 됩니다: 모든 토큰에 대해 전체 네트워크를 활성화하거나 각 토큰을 실제로 봐야 하는 전문가에게 라우팅합니까?
세쌍둥이처럼 닮은 러시아 피겨 스케이터들: Kullback-Leibler 발산이 그들의 차이를 구별할 수 있습니까?
스피커 적응은 시퀀스-투-시퀀스 모델을 인코더의 어렵게 획득한 음향 표현을 손상시키지 않고 적응시키려고 실제로 시도할 때까지 해결된 것처럼 들리는 ASR 문제 중 하나입니다.
Nathan Chen의 4회전 플립이 Mixture-of-Experts로 채점됩니까? Part 1: Switch Transformers: 희소 MoE 모델
Nathan Chen의 4회전 점수에 대한 우스갯소리로 표현되는 이 토론은 Switch Transformer를 살펴봅니다. Google의 Mixture-of-Experts 확장에 대한 깔끔하고 과감하게 단순화된 해석입니다.
Nathan Chen의 4 Flip이 Mixture-of-Experts로 채점되나요? Part 2: GLaM:Efficient Scaling of LMs with MoE
MoE 미니 시리즈의 Part 2는 GLaM으로 초점을 맞춥니다. Google의 1.2조-파라미터 Mixture-of-Experts 언어 모델로, 제로-샷, 원-샷, 그리고 퓨-샷 벤치마크에서 GPT-3과 동등하거나 능가하며 토큰당 약 8%의 파라미터만 활성화합니다
음성 관점에서 검토된 BERT 논문
BERT는 NLP에서 거의 소개가 필요 없지만, 음성 엔지니어의 관점에서 읽으면 표준 "마스크된 언어 모델링이 모든 것을 바꿨다"는 요약과는 다른 교훈들을 발견합니다.
Transformer: Attention is All You Need와 Listen, Attend and Spell -- 음성 관점에서
두 편의 논문, 하나의 이야기. "Attention Is All You Need"는 세계에 Transformer를 제공하고 수열 모델링이 어떻게 수행되는지를 재설정했고, "Listen, Attend and Spell" (LAS)은 엔드-투-엔드 음성에 대해 1년 먼저 동일한 일을 했습…
Breaking Bad에서 Wav2vec 2.0으로: 음성 표현의 자기 지도 학습을 위한 프레임워크
Walter White, Jesse Pinkman, 그리고 레이블이 없는 오디오 배치가 공통점이 뭘까요?