[AI 쇼츠 제작 노하우 ③]노래하는 AI, 입모양과 감정 디테일의 한 끗 차이

아바타를 만들고 나면
자연스럽게 다음 질문이 생깁니다.
“이제, 어떻게 노래를 부르게 할 것인가.”
처음 립싱크 영상을 만들었을 때
저도 꽤 낯설었습니다.
노래는 분명 익숙한데,
화면 속 인물은
어딘가 어색해 보였기 때문입니다.
입은 움직이는데
노래하는 느낌이 없고,
눈은 뜨고 있는데
감정이 잘 전달되지 않았습니다.
그때부터
립싱크를 ‘기술’로 보기보다
노래를 화면에 어떻게 머물게 할 것인가라는
관점으로 다시 보기 시작했습니다.

dzine ai 립싱크 생성 과정

---

립싱크는 정확함보다 ‘리듬’

립싱크 기능 자체는
툴이 어느 정도 해결해 줍니다.
문제는 그 다음입니다.
입모양을
완벽하게 맞추려 할수록
오히려 인위적으로 보일 때가 많았습니다.
그래서 저는
조금 느슨한 쪽을 선택합니다.

• 약간 어긋나도 괜찮고
• 완벽하지 않아도 괜찮고
• 대신 노래의 흐름을 깨지 않는 선

80년대 팝송은
정확함보다
여백과 감정이 먼저였던 노래들이기 때문입니다.

---

눈빛은 움직이지 않아도 충분하다

립싱크 영상에서
가장 어색해 보이는 순간은
눈이 과하게 움직일 때입니다.
사람은 노래를 부를 때
계속 시선을 흔들지 않습니다.
오히려
좋아하는 노래일수록
눈빛은 차분해집니다.
그래서 저는
눈의 움직임을 최대한 줄입니다.

• 깜빡임은 자연스럽게
• 시선 이동은 거의 없이
• 표정 변화도 아주 작게

화면이 조용해질수록
노래는
오히려 더 또렷하게 들립니다.

---

편집은 기술이 아니라 ‘숨 고르기’

립싱크가 어색할 때
설정을 더 만지기보다
저는 편집에서 해결합니다.

• 아주 미세한 배속 조절
• 노래의 호흡에 맞춘 컷 분할
• 필요 없는 프레임 과감히 정리

이건
툴의 기능이라기보다
노래를 오래 들어온 사람의 감각에 가깝습니다.
“여긴 조금 쉬어가도 되겠다”
“여긴 굳이 얼굴을 안 보여줘도 되겠다”
그 판단이
영상 전체의 인상을 바꿉니다.

---

쇼츠 길이와 노래 선택의 기준

쇼츠 영상은
형식상 1분 미만의 영상이지만,
요즘 흐름을 보면
30초 미만으로 더 짧아지는 추세라는 걸
체감하게 됩니다.
그래서 저는
긴 곡을 어떻게 줄일지 고민하기보다,
짧게 잘라 써도 자연스러운 노래를 먼저 고릅니다.
특히 신경 쓰는 부분은
후렴입니다.
멜로디가 또렷하고,
한 번 더 반복돼도
어색하지 않은 곡들입니다.
쇼츠는
처음부터 끝까지 집중해서 보는 영상이 아니라,
무심코 다시 보게 되는 영상일 때
가장 오래 남는다고 생각합니다.
노래가 끝났다는 느낌보다
“어? 다시네” 하고
자연스럽게 한 번 더 듣게 되는 구조.
그래서 노래 선택 단계부터
이미
반복 시청을 염두에 두고
작업을 시작합니다.
이 기준은
알고리즘 때문이라기보다,
80년대 팝송이 가진
멜로디의 힘을 믿기 때문입니다.

---

다 보여주지 않는 용기

립싱크 작업을 하다 보면
욕심이 생깁니다.
이 장면도 좋고,
저 표정도 아깝고,
계속 보고 싶어집니다.
하지만 저는
항상 한 번 더 줄입니다.
쇼츠는
모든 걸 보여주는 형식이 아니라,
기억을 남기는 형식이라고 생각하기 때문입니다.
조금 모자란 듯 끝나야
사람들은
노래를 다시 떠올립니다.

---

마치며

립싱크를 잘하는 법을
한 문장으로 정리하자면
이렇게 말하고 싶습니다.

“입을 맞추려 하지 말고,
노래의 호흡을 따라가라.”

AI가 노래를 부르는 것처럼 보이기보다,
우리가 기억하는 그 노래가
잠시 화면에 머무는 느낌이면
충분하다고 생각합니다.
다음 편에서는
이렇게 만들어진 쇼츠를
어떤 기준으로 이어가고 있는지,
그리고 이 채널을
어디까지, 어떤 속도로
키워보고 싶은지에 대해
조금 더 이야기해보려 합니다.
이 시리즈의 마지막 기록,
4편으로 이어가겠습니다.