์์ฑ ๊ฐ์ ์ธ์ ๊ฐ์ ์ ์ํ Wav2vec 2.0 ๋ฏธ์ธ ์กฐ์ ํ์
์์ฑ ๊ฐ์ ์ธ์์ ์ค๋ซ๋์ ์์ ๋ ์ด๋ธ๋ ๋ฐ์ดํฐ์ ๊ณผ ์์ผ๋ก ๋ง๋ ์ํฅ ํน์ฑ์ ๊ฐํ ์์์ต๋๋ค.
๋ค๊ตญ์ด ASR์ ์ํ ๊ณต๋ ๋น์ง๋ํ์ต ๋ฐ ์ง๋ํ์ต ํ๋ จ
์ฌ์ ํ๋ จ ํ ๋ฏธ์ธ ์กฐ์ ์ด ๋ค๊ตญ์ด ASR์ ๊ธฐ๋ณธ ๋ ์ํผ๊ฐ ๋์์ง๋ง, ๋ง์ ์ ์ฌ๋ ฅ์ ๋จ๊ธฐ๊ณ ์์ต๋๋ค: ๋ ๋จ๊ณ๊ฐ ์์ค์ ๊ณต์ ํ์ง ์์ผ๋ฉฐ, ์ง๋ ๋จ๊ณ๊ฐ ์ ์ฉํ ์์ฒด ์ง๋ ๊ตฌ์กฐ๋ฅผ ์กฐ์ฉํ ์ ๊ฑฐํ ์ ์์ต๋๋ค
WavLM: ์ ์ฒด ์คํ ์์ฑ ์ฒ๋ฆฌ๋ฅผ ์ํ ๋๊ท๋ชจ ์๊ฐ ๊ฐ๋ ์ฌ์ ํ์ต
๋๋ถ๋ถ์ ์์ฑ SSL ๋ชจ๋ธ์ ASR์ ์ต์ ํ๋๊ณ ๋ค๋ฅธ ๋ชจ๋ ๊ฒ์ด ์ ์๋ํ๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
์ง๋ฆฌ์ ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ์ง์ญ POI ์์ฑ ์ธ์ ์ ํ๋ ๊ฐ์ ํ๊ธฐ
์์ฑ ์ด์์คํดํธ์ ์์ ์ง์ญ ์๋น์ผ๋ก ์ด๋ํ๋๋ก ์์ฒญํ๋ฉด ASR์ด ์คํจํ๋ ์ง์ ์ ๋น ๋ฅด๊ฒ ๋ฐ๊ฒฌํ ์ ์์ต๋๋ค โ LM ํ์ต ์ฝํผ์ค์ ๋ํ๋์ง ์์๋ ๋กฑํ ์ผ POI ์ด๋ฆ๋ค์ ๋๋ค.
XLS-R: ๊ท๋ชจ์ ์๊ฐ ๊ฐ๋ ๊ต์ฐจ ์ธ์ด ์์ฑ ํํ ํ์ต
์ฐ๋ฌผ์ด ๋ง๋ฅด๊ธฐ ์ ์ ๊ต์ฐจ ์ธ์ด ์์ฑ ์ฌ์ ํ์ต์ ์ผ๋ง๋ ๋ฉ๋ฆฌ ๋ฐ์ด๋ถ์ผ ์ ์์๊น์?
์ ๊ฒฝ ์ธ์ด ๋ชจ๋ธ์ ์ํ ์ค์ผ์ผ๋ง ๋ฒ์น
GPT-3๊ฐ ์ค์ผ์ผ๋ง์ ํ์ฐ์ ์ผ๋ก ๋๊ปด์ง๊ฒ ํ๊ธฐ ์ ์, ์ด OpenAI ๋ ผ๋ฌธ์ด ์ด๋ฅผ ์์ธก ๊ฐ๋ฅํ๊ฒ ๋ง๋ค์์ต๋๋ค.
UniSpeech-SAT: ํ์ ์ธ์ ์ฌ์ ํ์ต์ ํตํ ๋ฒ์ฉ ์์ฑ ํํ ํ์ต
์๊ธฐ ์ง๋ ์์ฑ ๋ชจ๋ธ์ ์์ฑ ๋ด์ฉ์ ์๋ฆ๋ต๊ฒ ํ์ตํ๋ ๊ฒฝํฅ์ด ์์ง๋ง ํ์ ์ ์์ ๋์ค์ ์๊ฐํ๋ ๊ฒฝํฅ์ด ์์ต๋๋ค. ์ด๋ ASR์๋ ์ข์ง๋ง ํ์ ๊ฒ์ฆ, ํ์ ๋ถํ ๋๋ ์์ฑ ๋ณต์ ์๋ ํํธ์์ต๋๋ค.
RefineGAN: ๋์ ์ ํ๋์ ํผ์น์ ํจ๊ป ๊ธฐ๋ณธ ์ง์ค๋ณด๋ค ๋ ๋์ ํํ์ ๋ณดํธ์ ์ผ๋ก ์์ฑ
"๊ธฐ๋ณธ ์ง์ค๋ณด๋ค ๋์"์ ๋์ ๊ตด๋ฆฌ๊ฑฐ๋ ์ฌ์ํ๊ฒ ๋ง๋๋ ์ข ๋ฅ์ ์ฃผ์ฅ์ ๋๋ค.
๊ณต๋ ์์ฑ ๊ฐ์ ๋ฐ ์ธ์์ ์ํ SNRi ๋ชฉํ ํ๋ จ
์์ฑ ๊ฐ์ ๋ฐ ASR์ ๊ณต๋ ํ๋ จ์ ๋ถ๋ช ํด ๋ณด์ ๋๋ค. ๋ ธ์ด์ฆ ์ ๊ฑฐ๊ธฐ๋ฅผ ํตํด ์ธ์ ์์ค์ ์ญ์ ํํ๋ฉด ๋ฉ๋๋ค. ํ์ง๋ง ์ค์ ๋ก๋ ๊ณต๊ฒฉ์ ์ธ ๋ ธ์ด์ฆ ์ ๊ฑฐ๊ฐ ์ํฅ ๋ชจ๋ธ์ด ์์กดํ๋ ๊ธฐ๋ฅ์ ์์ฃผ ์๊ณกํ๊ธฐ ๋๋ฌธ์ ๋ณต์กํฉ๋๋ค.
BigSSL: ์๋ ์์ฑ ์ธ์์ ์ํ ๋๊ท๋ชจ ์ค์ง๋ ํ์ต์ ๊ฒฝ๊ณ ํ์
100M ๋งค๊ฐ๋ณ์์์ ์ต์ฒจ๋จ์ ์ด๊ธด ์ค์ง๋ ASR ๋ ์ํผ๋ฅผ ๊ฐ์ ธ๋ค๊ฐ ๊ณ์ ํ์ฅํ๋ฉด ์ด๋ป๊ฒ ๋ ๊น์?
