OLIGN โ€” WORD & PHONE ALIGNMENT SERVICE

Montreal FA ๋ฐ WhisperX๋ณด๋‹ค ๋” ์ •ํ™•ํ•œ ๋‹จ์–ด ํƒ€์ž„์Šคํƒํ”„.

๋‹จ์–ด ๋ฐ ์Œ์†Œ ์ˆ˜์ค€์˜ ํƒ€์ด๋ฐ์„ ๋ฐฉ์ถœํ•˜๋Š” ๊ฐ•์ œ ์ •๋ ฌ ์„œ๋น„์Šค๋กœ, ํฐ ๋‹จ์œ„ ์‹ ๋ขฐ๋„ ํ”„๋ก์‹œ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. fa-bench์— ์ž…๋ ฅ๋œ ์˜คํ”ˆ ๊ฐ•์ œ ์ •๋ ฌ ๋ฒค์น˜๋งˆํฌ๋กœ์„œ 10๊ฐœ ์‹œ์Šคํ…œ ์ค‘ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค.

REST ยท BETA https://api.olewave.com/olign/v1

๊ณต๊ฐœ REST API๋Š” ๋น„๊ณต๊ฐœ ๋ฒ ํƒ€ ์ƒํƒœ์ž…๋‹ˆ๋‹ค. ๋ฌธ์˜ํ•˜๊ธฐ๋ฅผ ํ†ตํ•ด ํ…Œ์ŠคํŠธ ํ† ํฐ ๋ฐ ์ ‘๊ทผ ๊ถŒํ•œ์„ ์š”์ฒญํ•˜์„ธ์š”.

๊นจ๋—ํ•œ ์Œ์„ฑ์— ๋Œ€ํ•œ ๋‹จ์–ด ์ˆ˜์ค€ ์ •ํ™•๋„

๋‹จ์–ด ๊ฒฝ๊ณ„ ์˜ค๋ฅ˜(WBE)(๋ฐ€๋ฆฌ์ดˆ ๋‹จ์œ„) โ€” ๋‚ฎ์„์ˆ˜๋ก ์ข‹์Šต๋‹ˆ๋‹ค. ๊ฒฝ๊ณ„ F1 at ยฑ20 ms โ€” ๋†’์„์ˆ˜๋ก ์ข‹์Šต๋‹ˆ๋‹ค. fa-bench์˜ fabench ํ”„๋กœํ† ์ฝœ๋กœ ์ธก์ •๋˜์—ˆ์œผ๋ฉฐ, ๋ฏธ๊ณต๊ฐœ ์Šคํ”ผ์ปค ๋ถ„๋ฆฌ ๋ถ„ํ• ์—์„œ ์ธก์ •๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

๋ถ„ํ•  WBE (ms) โ†“ Word F1 @ 20 ms โ†‘
  olignMFA 3.4 olignMFA 3.4
timit / dev16.019.20.8070.729

ํ‰๊ท  ๋‹จ์–ด ๊ฒฝ๊ณ„ ๋ฐฐ์น˜์—์„œ 3.2ms์˜ ๊ฐœ์„ ๊ณผ ์—„๊ฒฉํ•œ ยฑ20ms ์ž„๊ณ„๊ฐ’์—์„œ 8ํฌ์ธํŠธ F1 ๋ฆฌ๋“œ๋ฅผ ๋‹ฌ์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค. timit/test, buckeye/dev ๋ฐ buckeye/test์—์„œ์˜ ๋‹จ์–ด ์ˆ˜์ค€ ๊ฒฐ๊ณผ๋Š” ๋™์ผํ•œ ํŒจํ„ด์„ ๋ณด์ด๋ฉฐ olign/docs/results.md์— ๊ฒŒ์‹œ๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

๋…ธ์ด์ฆˆ ์ƒํ™ฉ์—์„œ์˜ ์„ฑ๋Šฅ

Kaldi voxceleb/v2 ๋ ˆ์‹œํ”ผ์˜ 4๊ฐ€์ง€ ์กฐ๊ฑด โ€” ๋ฆฌ๋ฒ„๋ธŒ๋ ˆ์ด์…˜, MUSAN ๊ฐ€์‚ฐ ๋…ธ์ด์ฆˆ, ์Œ์•…, ์ˆ˜๋‹ค โ€” ๋™์ผํ•œ ๊ธˆ๋ณธ์œ„, ๋™์ผํ•œ ๋ถ„ํ• , ์Œํ–ฅ๋งŒ ๋‹ค๋ฆ…๋‹ˆ๋‹ค. ์‹ ๊ฒฝ๋ง ํ”„๋ ˆ์ž„ ๋ถ„๋ฅ˜๊ธฐ๋Š” ๋…ธ์ด์ฆˆ ์•„๋ž˜์—์„œ ๋ถ•๊ดด๋˜์ง€๋งŒ olign๊ณผ MFA๋Š” ์šฐ์•„ํ•˜๊ฒŒ ์ €ํ•˜๋ฉ๋‹ˆ๋‹ค. ๊ฐ’์€ Buckeye์—์„œ์˜ ๋‹จ์–ด ์ˆ˜์ค€ MAE ์ถ”์„ธ์ด๋ฉฐ, ์ „์ฒด ํ…Œ์ด๋ธ”์€ olign/docs/results.md์— ์žˆ์Šต๋‹ˆ๋‹ค.

์‹œ์Šคํ…œ๊นจ๋—ํ•œ๋ฆฌ๋ฒ„๋ธŒ๋…ธ์ด์ฆˆ์Œ์•…์ˆ˜๋‹ค
olignโœ“โœ“โ€”โœ“โœ“
MFA 3.4โ€”โ€”โœ“โ€”โ€”
WhisperX / Charsiuโ€”โ€”โ€”โ€”โ€”
MAPSโ€”โ€”โ€”โ€”โ€”

olign์€ ๊นจ๋—ํ•œ, ๋ฆฌ๋ฒ„๋ธŒ, ์Œ์•…, ์ˆ˜๋‹ค์—์„œ ์šฐ์Šนํ•˜๊ณ ; MFA๋Š” ๊ฐ€์‚ฐ ๋…ธ์ด์ฆˆ์—์„œ ์•ž์„œ๊ฐ‘๋‹ˆ๋‹ค. ์‹ ๊ฒฝ๋ง ํ”„๋ ˆ์ž„ ๋ถ„๋ฅ˜๊ธฐ(MAPS, Charsiu)๋Š” ๋ถ•๊ดด๋ฉ๋‹ˆ๋‹ค โ€” MAPS๋Š” ํฐ ์ˆ˜์ค€ ๋™๋“ฑ๋ฌผ์—์„œ ๋Œ€๋žต 7๋ฐฐ, ์ด๋Š” ๋…ธ์ด์ฆˆ ์ถ•์ด ์ƒ์„ฑํ•œ ๊ฐ€์žฅ ๋ช…ํ™•ํ•œ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๊นจ๋—ํ•œ + ๋…ธ์ด์ง€ ์˜ค๋””์˜ค์—์„œ ๊ฒฝ๊ณ„ ์ •์ œ๊ธฐ๋ฅผ ํ›ˆ๋ จํ•˜๋Š” ๊ฒƒ์ด ์ด๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค: ๋ชจ๋“  ๋…ธ์ด์ง€ ์…€์—์„œ ์Šน๋ฆฌํ•˜๊ณ  ๊นจ๋—ํ•œ ์Œ์„ฑ์—์„œ +0.1ms์˜ ๋น„์šฉ์ด ๋“ค๋ฉฐ, ์‹คํ–‰ ๊ฐ„ ๋ณ€๋™ ๋‚ด์— ์žˆ์Šต๋‹ˆ๋‹ค.

ํ•จ๊ป˜ ๊ฒŒ์‹œํ•˜๋Š” ์ฃผ์˜์‚ฌํ•ญ

์šฐ๋ฆฌ๊ฐ€ ์ธ์‹ํ•˜๊ณ  ์žˆ๋Š” ๋ชจ๋“  ๋ฐฉ๋ฒ•๋ก ์  ํƒ€ํ˜‘์ž…๋‹ˆ๋‹ค. ์šฐ๋ฆฌ๋Š” ์ด๋“ค์„ ์ˆซ์ž ์˜†์— ๊ฒŒ์‹œํ•˜๋ฉฐ, ๊ทธ ์•„๋ž˜์— ๊ฒŒ์‹œํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

  1. ํ›ˆ๋ จ ์ค‘๋ณต

    olign์€ TIMIT ๋ฐ Buckeye์˜ train ๋ถ„ํ• ์—์„œ ํ›ˆ๋ จ๋œ ๊ตฌ์„ฑ์š”์†Œ๋ฅผ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค. ํ‰๊ฐ€๋œ ๋ถ„ํ• ์€ ์ด๋กœ๋ถ€ํ„ฐ ์Šคํ”ผ์ปค ๋ถ„๋ฆฌ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค โ€” 0 ์ค‘๋ณต, ๋ถ„ํ•  ๋ชฉ๋ก์— ๋Œ€ํ•ด ๊ฒ€์ฆ๋จ โ€” ๋”ฐ๋ผ์„œ ์ด๋“ค์€ ์ง„์ •ํ•œ ๋ฏธ๊ณต๊ฐœ ์ˆ˜์น˜์ž…๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ MFA, Charsiu, BFA ๋ฐ WhisperX๋Š” ๋‘ ์ฝ”ํผ์Šค์— ์ „ํ˜€ ๋…ธ์ถœ๋˜์ง€ ์•Š์•˜์œผ๋ฉฐ, ๊ทธ๋ ‡๋‹ค๊ณ  ๋งํ•˜์ง€ ์•Š์œผ๋ฉด ์—ด์€ ๋Œ€๋“ฑํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

  2. ๋…์  ๊ตฌ์„ฑ

    ๊ตฌ์„ฑ์€ ๊ณต๊ฐœ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค; ํ–‰์€ olign์˜ ์ตœ์  ๊ตฌ์„ฑ์„ ๋ณด๊ณ ํ•˜๋ฉฐ, ๋‹ค๋ฅธ ํ•ญ๋ชฉ๊ณผ ๋งˆ์ฐฌ๊ฐ€์ง€์ž…๋‹ˆ๋‹ค.

  3. ๋…ผ๋ฌธ ๋ฒ ์ด์Šค๋ผ์ธ ์•„๋‹˜

    olign์€ MFA-2026 ์žฌํ˜„์ด ์•„๋‹Œ fabench ํ”„๋กœํ† ์ฝœ ์•„๋ž˜์—์„œ๋งŒ ์ ์ˆ˜๋ฅผ ๋ฐ›์Šต๋‹ˆ๋‹ค.

  4. ์ ์ˆ˜๋Š” ์‹คํ–‰๋งˆ๋‹ค ๋ณ€ํ•จ

    ๋™์ผํ•œ ์ž…๋ ฅ์€ overall ํ‰๊ฐ€์—์„œ ๋‹ค๋ฅผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค; ๊ฒฝ๊ณ„ ์‹œ๊ฐ„์€ ์•ˆ์ •์ ์ด๋ฉฐ, ์ด๊ฒƒ์ด ๋ฒค์น˜๋งˆํฌ๊ฐ€ ์ธก์ •ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.

  5. ๋” ๋‚˜์€ ๊ฒฝ๊ณ„, ์•ฝ๊ฐ„ ๋” ๋‚˜์œ ๋ ˆ์ด๋ธ”

    olign์€ MFA๋ณด๋‹ค ์•ฝ๊ฐ„ ๋†’์€ ํฐ ์˜ค๋ฅ˜์œจ(timit/dev์—์„œ 33.1% vs 32.7%)์„ ๊ฐ–์ง€๋งŒ ๊ฒฝ๊ณ„๋ฅผ ๋” ์ž˜ ๋ฐฐ์น˜ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ ๋ ˆ์ด๋ธ”์€ ๊ธˆ๊ณผ ๋œ ์ž์ฃผ ์ผ์น˜ํ•ฉ๋‹ˆ๋‹ค; ๊ทธ ๊ฒฝ๊ณ„๋Š” ๋” ๊ฐ€๊น๊ฒŒ ๋ฐฐ์น˜๋ฉ๋‹ˆ๋‹ค. ๋‘ ์‚ฌ์‹ค ๋ชจ๋‘ ์šฐ๋ฆฌ๊ฐ€ ํ•˜๋Š” ๋ชจ๋“  ์ฃผ์žฅ์— ์†ํ•ฉ๋‹ˆ๋‹ค.

olign์˜ ๋ฒ ํƒ€ ์ ‘๊ทผ ๊ถŒํ•œ์„ ์š”์ฒญํ•˜์„ธ์š”.

REST API๋Š” ๋น„๊ณต๊ฐœ ๋ฒ ํƒ€ ์ƒํƒœ์ž…๋‹ˆ๋‹ค. ํ…Œ์ŠคํŠธ ํ† ํฐ์„ ๋ฐ›์•„ olign์„ ์›Œํฌ๋กœ๋“œ์— ๋Œ€ํ•ด ์‹คํ–‰ํ•˜์„ธ์š” โ€” ๋ฐฐ์น˜ ์ •๋ฆฌ, ์‹ค์‹œ๊ฐ„ ์บก์…˜, ๋ฐœ์Œ ํ‰๊ฐ€, ๋ฐ์ดํ„ฐ์„ธํŠธ ๋ ˆ์ด๋ธ”๋ง โ€” ์ž์‹ ์˜ ๋ฐ์ดํ„ฐ์—์„œ ์ˆซ์ž๋ฅผ ํ™•์ธํ•˜์„ธ์š”.

๋ฒ ํƒ€ ํ† ํฐ์„ ์œ„ํ•ด Olewave์— ๋ฌธ์˜ํ•˜์„ธ์š” โ†’