딥브레인AI, 촬영 없이 영상‧음성만으로 ‘AI 휴먼’ 구현

SKT ‘AI 최경주 제작 프로젝트’ 참여
얼굴데이터 추출 딥러닝, 립싱크 학습 및 SKT 음성합성 기술 적용
직접 방문해 촬영‧녹음 절차 없이 영상·음성만으로 AI 휴먼 구현 가능

 

[더테크=조명의 기자] 딥브레인AI이 별도의 촬영 없이 사진‧영상 및 음성만으로 프로골퍼 최경주 선수를 AI 휴먼으로 구현했다. 

 

딥브레인AI는 SK텔레콤이 주최하는 SKT 오픈 2023 대회의 ‘AI 최경주 제작 프로젝트’에 참여, 자사의 가상인간 기술과 SKT의 음성합성 기술을 활용해 프로골퍼 AI 최경주 선수를 완성했다고 30일 밝혔다.

 

지금까지 AI 휴먼을 제작하기 위해 실제 인물이 AI 휴먼 전용 스튜디오에 방문해 전신 촬영 및 문장의 발화 데이터를 확보해야만 했다. 

 

딥브레인AI에 따르면, 최경주 선수의 사진과 인터뷰 영상들만으로 얼굴 데이터를 추출해 딥러닝 학습을 진행했다. 이후 별도 촬영한 대역 모델에 영상합성 기술로 립싱크 학습을 했으며, SKT의 음성합성 TTS(Text to Speech) 엔진을 결합해 최경주 선수의 목소리를 만들었다. 

 

앞으로 영상과 음성만 있으면 원하는 대상을 시간에 구애받지 않고 편리하게 AI 휴먼으로 제작할 수 있게 됐다는 것이 회사의 설명이다. 

 

딥브레인AI는 AI 최경주 구현을 위해 골프 중계 멘트 립싱크를 위해 골프용어를 추가로 학습 진행했다. 그 결과 지난 18일부터 나흘간 열린 KPGA 코리안투어 ‘SK텔레콤 오픈 2023’에서 해설위원으로 등장해 자연스러운 입모양과 제스처를 선보여 화제를 모았다. 

 

장세영 딥브레인AI 대표는 “최경주 선수의 사진과 영상을 기반으로 딥러닝 과정을 거쳐 모델과 똑 닮은 AI 휴먼을 구현했다”며 “이제는 스튜디오 촬영 외 또 다른 선택지를 제공해 모델의 시간과 비용을 절약할 수 있어 보다 합리적으로 AI 휴먼 제작이 가능하다”고 전했다.

 



배너