Meta์ Movie Gen vs. OpenAI์ Sora: ์์ธ ๋ฆฌ๋ทฐ
Meta๋ ๋ง์นจ๋ด Sora์ ๋ํ ์ ์ฅ์ ๋ณด์๊ณ , Movie Gen์ ๋จ์ํ ๋น๋์ค ์์ฑ๊ธฐ ์ด์์ ๋๋ค โ ๋ค์ค aspect ratio๋ก 1080p HD ๋น๋์ค๋ฅผ ์์ฑํ๊ณ ๋๊ธฐํ๋ ์ค๋์ค๋ฅผ ์ง์ํ๋ foundation ๋ชจ๋ธ์ ์บ์คํธ์ด๋ฉฐ, ์ ๋ฐํฉ๋๋ค
Google ์ฐ๊ตฌ์์ End-to-End ์์ฑ ์ธ์์ ๋ํ ์ฌ์ธต ๋ถ์, Part 1: ๊ฐ์ & ๋ชจ๋ธ๋ง
๋ฅ๋ฌ๋์ 10๋ ์ ASR ๋จ์ด ์ค๋ฅ์จ์ 50% ์ด์ ์๋์ ์ผ๋ก ๊ฐ์์์ผฐ๊ณ , ๊ทธ ๊ณผ์ ์์ ๊ณ ์ ์ ์ธ HMM ํ์ดํ๋ผ์ธ์ ์ ๋ฌผ์ฒ๋ผ ๋ณด์ด๊ฒ ๋ง๋ค์์ต๋๋ค.
OpenAI GPT-4o์ ์ ๊ฒฝ๋ง ์ํคํ ์ฒ ์ถ๋ก ํ๊ธฐ
OpenAI๋ GPT-4o์ ๋ํ ๋ ผ๋ฌธ์ ๋ฐํํ์ง ์์์ผ๋ฏ๋ก, ์ด ์์์ ๋ค์ ์ต์ ์ ๋ฐฉ๋ฒ์ ์ ์ํฉ๋๋ค: OpenAI๊ฐ ์ค์ ๋ก ์์ฐํ ๊ธฐ๋ฅ์ ๋ฐํ์ผ๋ก ์ ๊ฒฝ๋ง ์ํคํ ์ฒ๊ฐ ๊ฑฐ์ ํ์คํ ์ด๋ค ๋ชจ์ต์ธ์ง๋ฅผ ์ญ์์ง๋์ด๋งํฉ๋๋ค
Google์ 100๊ฐ ์ด์ ์ธ์ด๋ฅผ ์ง์ํ๋ Universal Speech Model์ด OpenAI์ Whisper Model์ ๋ฅ๊ฐํฉ๋๋ค
Google์ Universal Speech Model์ ์กฐ์ฉํ ๋๋ผ์ด ์ฑ๊ณผ๋ฅผ ๋ฌ์ฑํ์ต๋๋ค: ๋ ์ด๋ธ์ด ์ง์ ๋ ํ๋ จ ๋ฐ์ดํฐ์ ์ฝ 1/7์ ์ฌ์ฉํ๋ฉด์ 100๊ฐ ์ด์์ ์ธ์ด์์ OpenAI์ Whisper์ ๋๋ฑํ๊ฑฐ๋ ๋ฅ๊ฐํ๋ ASR ์ฑ๋ฅ์ ๋ฌ์ฑํ์ต๋๋ค.
OpenAI GPT-4์ ๋น์ +ํ ์คํธ ๋ชจ๋ธ, ๋ฐ์ดํฐ ๋ฐ ํ์ต ๋น์ฉ ๊ณต๊ฐ (์ถ์ธก)
OpenAI๋ GPT-4์ ์ํคํ ์ฒ, ํ๋ผ๋ฏธํฐ ์, ํ์ต ๋ฐ์ดํฐ ๋๋ ์ปดํจํ ์์ฐ์ ๊ณต๊ฐํ์ง ์๊ธฐ๋ก ์ ๋ช ๋์ผ๋ฉฐ, ์ด๋ ๊ธฐ์ ๋ณด๊ณ ์๋ฅผ ML ์ปค๋ฎค๋ํฐ๋ฅผ ์ํ ๋ก๋ฅด์คํ ํ ์คํธ๋ก ๋ฐ๊พธ์์ต๋๋ค.
GPT-4์ ๊ธฐ์ ๋ณด๊ณ ์ ๋ฆฌ๋ทฐ (ํ๋์ ๋ณด๋ GPT-4)
GPT-4์ ๊ธฐ์ ๋ณด๊ณ ์๋ ์ํคํ ์ฒ ์ธ๋ถ์ฌํญ์ด ๋ถ์กฑํ๊ณ ๋ฅ๋ ฅ ์ฃผ์ฅ์ด ๋ง๊ธฐ๋ก ์ ๋ช ๋์ผ๋ฉฐ, ์ด๋ ๋ช ํํ ๋ฆฌ๋ทฐ๋ฅผ ๊ทธ ์์ ๊ตฌ์ถํ๋ ๋ชจ๋ ์ฌ๋์ ์ํด ํ์ ์ฝ๊ธฐ๋ก ๋ง๋ญ๋๋ค.
[Olewave์ ๋ฆฌ๋ทฐ] AudioLM: ์ค๋์ค ์์ฑ์ ์ํ ์ธ์ด ๋ชจ๋ธ๋ง ์ ๊ทผ
AudioLM์ ๋ง์ ์ฌ๋๋ค์๊ฒ ์ค๋์ค ์์ฑ์ด ์ ํธ ์ฒ๋ฆฌ๋ณด๋ค๋ ์ธ์ด ๋ชจ๋ธ๋ง์ฒ๋ผ ๋ณด์ฌ์ผ ํ๋ค๊ณ ํ์ ์ํจ ๋ ผ๋ฌธ์ ๋๋ค.
OpenAI์ GPT-3์ ๋ํ ์ฌ์ธต ๋ฆฌ๋ทฐ : ์ธ์ด ๋ชจ๋ธ์ ์์ ์ท ํ์ต์์ ๋๋ค (ํํธ 3/3: ๊ฒฐ๊ณผ ๋ฐ ๋๋จธ์ง)
์ด 3๋ถ์ GPT-3 ์ฌ์ธต ๋ถ์์ ์ต์ข ํ์ฐจ๋ ๊ฒฐ๊ณผ์ ๋๋ฌํฉ๋๋ค: 1,750์ต ๊ฐ์ ํ๋ผ๋ฏธํฐ๋ฅผ ๋ฒค์น๋งํฌ ์ค์ํธ์ ํฌ์ ํ๊ณ ๋ฏธ์ธ ์กฐ์ ์ ์์ ํ ๊ฑด๋๋ธ ๋ ์ค์ ๋ก ์ด๋ค ์ผ์ด ๋ฐ์ํ๋์ง์ ๋ํด.
[10๋ถ] OpenAI์ Whisper API๊ฐ ChatGPT๋งํผ ์ข์ง ์์ ์ด์ ์ค๋ช
Whisper๋ ํฐ ์ฑ๊ณต์ ๊ฑฐ๋์์ง๋ง, GPT-3์ด NLP๋ฅผ ์ฌํธํ๋ ๋ฐฉ์์ผ๋ก ASR์ ์ฌํธํ์ง๋ ๋ชปํ์ต๋๋ค. ์ด 10๋ถ์ง๋ฆฌ ๋ฆฌ๋ทฐ๋ ๊ทธ ์ด์ ๊ฐ ๋ ผ๋ฌธ ์์ฒด์ ๋ด์ฌ๋์ด ์๋ค๊ณ ์ฃผ์ฅํฉ๋๋ค.
OpenAI์ GPT-3์ ๋ํ ์ฌ์ธต ๊ฒํ : ์ธ์ด ๋ชจ๋ธ์ Few-Shot ํ์ต์์ ๋๋ค (ํํธ 2/3: ๊ฒฐ๊ณผ)
์ด GPT-3 ์ฌ์ธต ๋ถ์์ 2๋ถ๋ ์ค์ ์ ๋์ด ์ค์ ๋ก ์ฌ๋๋ค์ด NLP๋ฅผ ์ฌ์๊ฐํ๊ฒ ํ ๊ฒฐ๊ณผ๋ก ์ด๋ํฉ๋๋ค.
OpenAI์ GPT-3์ ๋ํ ์ฌ์ธต ๊ฒํ : ์ธ์ด ๋ชจ๋ธ์ Few-Shot ํ์ต์์ ๋๋ค (ํํธ 1/3: ์๊ฐ & ์ ๊ทผ)
์ด ์ธ ๋ถ๋ถ GPT-3 ๊ฒํ ์ ์ฒซ ๋ฒ์งธ ๋ถ๋ถ์ ๊ท๋ชจ๋ฅผ ์ฐ๊ตฌ ๋ฒ ํ ์์ ์ ๊ณ ๋ณต์์ผ๋ก ๋ฐ๊พผ ๋ ผ๋ฌธ์ ์ค์ ํฉ๋๋ค.
ChatGPT/ChatGPT Plus/InstructGPT: ์ธ๊ฐ ํผ๋๋ฐฑ์ผ๋ก ์ง์๋ฅผ ๋ฐ๋ฅด๋๋ก ์ธ์ด ๋ชจ๋ธ ํ๋ จ
ChatGPT ์ ํ ๋ค์๋ InstructGPT ๋ ผ๋ฌธ์ด ์์ผ๋ฉฐ, ์ด ์์ธ ๋ฆฌ๋ทฐ๋ ์์ GPT-3์ ์ฌ๋๋ค์ด ์ค์ ๋ก ๋ํํ๊ณ ์ถ์ด ํ๋ ๊ฒ์ผ๋ก ๋ณํํ ํ์ดํ๋ผ์ธ์ ์์ธํ ๋ถ์ํฉ๋๋ค.
3๋ถ ์์ ChatGPT/ChatGPT Plus๊ฐ ์ด๋ป๊ฒ ์๋ํ๋์ง ์ค๋ช
ChatGPT๋ ์ธ๋ถ์์๋ ๋ง๋ฒ์ฒ๋ผ ๋ณด์ด์ง๋ง, ์ด๋๋ฅผ ๋ด์ผ ํ๋์ง ์๋ฉด ๋ ์ํผ๋ ์ ๋ฌธ์ํ๋์ด ์์ผ๋ฉฐ, ์ด 3๋ถ ์ค๋ช ์ ํต์ฌ ์์ด๋์ด๋ฅผ ์์ฝํฉ๋๋ค.
[Olewave's Review] CLIP (3/3): ์์ฐ์ด ๊ฐ๋ ์ผ๋ก๋ถํฐ์ ์ ์ด ๊ฐ๋ฅํ ์๊ฐ ๋ชจ๋ธ ํ์ต
์ด CLIP ๊ฒํ ์ ๋ง์ง๋ง ๋ถ๋ถ์ ๊ฒฐ๊ณผ ์น์ ์ ๋๋ฌํ๋ฉฐ, ์ฌ๊ธฐ์ OpenAI์ ๋์กฐ์ ์ด๋ฏธ์ง-ํ ์คํธ ๋ชจ๋ธ์ด ํฅ๋ฏธ๋ก์ด ์์ด๋์ด์์ ์ ์ฒด ๋ฉํฐ๋ชจ๋ฌ ์คํ์ ๊ธฐ์ด ๊ณ์ธต ๊ธฐ๋ณธ ์์๋ก ์ ํ๋์์ต๋๋ค.
[Olewave's Review] CLIP (2/3): ์์ฐ์ด ๊ฐ๋ ์ผ๋ก๋ถํฐ์ ์ ์ด ๊ฐ๋ฅํ ์๊ฐ ๋ชจ๋ธ ํ์ต
OpenAI์ CLIP์ ๊ณ ์ ๋ ์ด๋ธ ์ธํธ๋ฅผ ๋ฒ๋ฆฌ๊ณ ๋์ ์ธํฐ๋ท์์ ์์งํ 4์ต ๊ฐ์ (์ด๋ฏธ์ง, ํ ์คํธ) ์์ผ๋ก ํ๋ จํจ์ผ๋ก์จ ์ปดํจํฐ ๋น์ ์ ์คํฌ๋ฆฝํธ๋ฅผ ๋ค์ง์์ต๋๋ค.
[Olewave's Review] CLIP (1/3): ์์ฐ์ด ๊ฐ๋ ์ผ๋ก๋ถํฐ์ ์ ์ด ๊ฐ๋ฅํ ์๊ฐ ๋ชจ๋ธ ํ์ต
BLIP, LLaVA, ๋๋ ๊ฐ์น ์๋ ์์ฑ-LLM์ด ์๊ธฐ ์ ์ CLIP์ด ์์์ผ๋ฉฐ, ์ด๊ฒ์ด ์ด์ผ๊ธฐ๊ฐ ์์๋๋ ๊ณณ์ ๋๋ค.
[Olewave์ ๋ฆฌ๋ทฐ] OpenAI์ Whisper ASR: ๋๊ท๋ชจ ์ฝํ ์ง๋๋ฅผ ํตํ ๊ฐ๊ฑดํ ์์ฑ ์ธ์
OpenAI๊ฐ Whisper๋ฅผ ์ถ์ํ์ ๋, ASR ์ปค๋ฎค๋ํฐ๋ 68๋ง ์๊ฐ์ ๋ค๊ตญ์ด, ๋ค์ค ์์ , ์น ํฌ๋กค๋ง ์ค๋์ค๋ก ํ๋ จ๋์ด ์ฌํฌ๋ฆฌ, ๋ฐฐ๊ฒฝ ์์, ๊ธฐ์ ์ฉ์ด ์ ๋ฐ์ ๊ฑธ์ณ
[์ฅ๋ฌธ ๋ฆฌ๋ทฐ] Cascaded Diffusion Models for High Fidelity Image Generation
Imagen๊ณผ DALL-E 2๊ฐ ์์ฑ ์ด๋ฏธ์ง๋ฅผ ์ํ ํ์ฐ์ ๊ธฐ๋ณธ๊ฐ์ผ๋ก ๋ง๋ค๊ธฐ ์ ์, ์ด Google Brain ๋ ผ๋ฌธ์ ์ดํ ๋ง์ ํ ์คํธ-์ด๋ฏธ์ง ์์คํ ์ด ์กฐ์ฉํ ์ฐจ์ฉํ cascaded diffusion ๋ ์ํผ๋ฅผ ์ ์ํ์ต๋๋ค: ์์
[๋จ๋ฌธ ๋ฆฌ๋ทฐ] Cascaded Diffusion Models for High Fidelity Image Generation
Cascaded diffusion์ ๋ง์ ์ต์ ์์ฑ ์์ ์ ๊ธฐ์ ๋ฅผ ์ด๋ฃจ๋ ๋ค๋จ๊ณ ๋ ์ํผ์ ๋๋ค: ํ ๊ฐ์ diffusion ๋ชจ๋ธ๋ก ์์ ์ด๋ฏธ์ง๋ฅผ ์์ฑํ ํ, ๊ณ ์ฃผํ ์ธ๋ถ
