[더테크=전수연 기자] 미래 산업으로 손꼽히는 디지털휴먼 기술이 TV 생방송 프로그램에 진출했다. 기존 디지털휴먼이 대부분 광고영상이나 지면에 그쳤다면, 한국전자통신연구원(ETRI)은 아리랑TV의 글로벌 오디션 프로그램 ‘코드네임 부산’에 디지털휴먼 실감가시화 기술을 적용하면서 실시간 활용의 길을 열었다.
ETRI는 공동연구기관 ㈜펄스나인과 페이스 스왑 기반 실감가시화 기술을 적용해 생방송을 진행했다. 이번에 개발된 기술은 생성형 AI(인공지능) 기반 실감가시화 기술이 적용돼 생방송으로 진행되는 프로그램의 해상도 고도화와 실감화를 재현했다.
(관련기사: ETRI, IoT‧스마트시티 국제표준화 역대 최고 성과)
해당 기술은 중저품질로 렌더링된 어색한 디지털휴먼 동영상을 AI 기술을 통해 사람이 구별할 수 없는 수준으로 변환한다. ETRI는 코드네임 부산에 적용된 기술이 기존 디지털휴먼의 해상도를 실제 사람 수준으로 높였으며, 시간 일치성이 부족한 영상의 떨림 현상을 보완했다고 설명했다.
실감가시화 기술에 대해 더 자세히 알아보기 위해 정일권 ETRI 초실감메타버스연구소 콘텐츠연구본부 본부장으로부터 이야기를 들어봤다.
아리랑TV 프로그램에 실감가시화 기술을 적용하게 된 계기가 있을까요?
ETRI는 작년 1월 메타버스 신산업 전략을 발표했습니다. 거기 보면 몇 가지 기술 요소가 있는데 그중 하나가 디지털휴먼이고 중요도가 높았습니다. 제페토, 로블록스 등 만화형 캐릭터는 상용화되고 있지만 사람과 같은 실감나는 캐릭터가 부족하다고 생각했어요.
또 로지와 같은 디지털휴먼은 개발 시 시간과 돈이 많이 들고, 딥페이크는 제한이 많습니다. 이 때문에 디지털휴먼을 동영상으로 만들 경우 일관성이 떨어지고 실제 사람으로 보일 수 없는 떨림이 나타났어요. 이러한 문제를 해결하기 위해 실시간으로 중저품질의 디지털휴먼을 고품질로 떨림 없이 바꿔주는 기술을 제작하게 됐습니다.
디지털휴먼의 해상도는 어떤 방식으로 높일 수 있었나요?
여러 면에서 적용이 가능합니다. 기존 게임 디지털휴먼 기능은 실감의 한계가 있었습니다. 그래서 AI가 값을 입력받은 후 사람처럼 만들고 품질이 떨어지더라도 실감 나는 형태로 바꿀 수 있습니다.
원래 모습을 유지하면서 사람으로 바꿔주기도 하고, 비슷하지만 닮지 않은 캐릭터로 바꿀 수도 있습니다. 다양하게 시나리오를 적용하도록 한 기술이라고 생각하시면 됩니다. AI가 실감 나지 않은 정보를 받았을 때, 정확도가 높은 데이터를 가지고 학습하는 것입니다.
해상도가 높은 디지털휴먼의 시간 일치성은 어떻게 제작됐나요?
기존 기술 대비 AI기술은 시간이 소요되는 편이었습니다. 생방송에서 크게 문제 될 정도는 아니더라도 저희는 실시간에 집중했고, 이전에도 아리랑TV에 디지털휴먼 기술을 적용한 바 있습니다.
앞으로 개발될 디지털휴먼 기술을 소개해주세요.
메타버스 신사업 선도 전략에 있는 연구개발 요소는 전부 개발하고 있습니다. 예를 들어 현재 대부분의 키오스크에는 메뉴만 나오거나 약간의 캐릭터가 나오는데, (AI 전문기업) 솔트룩스와의 작업을 통해 저희 기술을 적용하고 사람과 같은 캐릭터가 나올 수 있도록 내부 테스트 중입니다.
