엔비디아, 방송에도 AI 공세…슬로모션·립싱크 실시간 처리

본문

[디지털투데이 최재원 기자] 엔비디아가 방송과 스포츠 중계, 글로벌 스트리밍용 AI 도구 모음 엔비디아 AI 포 미디어(NVIDIA AI for Media)를 대폭 확장했다. 영상 프레임 생성부터 고해상도 변환, 선수 동작 추적, 실시간 립싱크와 음성 개선까지 하나의 AI 파이프라인에서 처리하는 것이 핵심이다.15일(현지시간) 엔비디아에 따르면 새 비디오 프레임 제너레이션(VFG)은 기존 프레임 사이에 AI로 중간 영상을 생성해 프레임레이트를 2배 또는 4배 높인다. 스포츠 중계에서는 보다 부드러운 리플레이와 슬로모션 제작에 활용할 15일(현지시간) 엔비디아에 따르면 새 비디오 프레임 제너레이션(VFG)은 기존 프레임 사이에 AI로 중간 영상을 생성해 프레임레이트를 2배 또는 4배 높인다. 스포츠 중계에서는 보다 부드러운 리플레이와 슬로모션 제작에 활용할 수 있다.

비디오 슈퍼 레졸루션(VSR)은 저해상도 영상을 최대 8K까지 확대하면서 노이즈와 흐림, 압축 흔적을 줄인다.

트루HDR(TrueHDR)은 SDR 영상을 실시간 HDR로 변환해 원본의 명암을 유지하면서 최대 약 2000니트 수준까지 밝기 표현을 확장한다. VFG·VSR·트루HDR은 하나의 영상 효과 파이프라인에서 연속 적용할 수 있다. 3D 바디 포즈(3D Body Pose)는 단일 카메라 영상에서 별도 마커 없이 전신 관절 움직임을 추적해 3D 애니메이션용 데이터로 변환한다. 글로벌 콘텐츠 현지화에는 립싱크(LipSync)와 화자 탐지(Active Speaker Detection)가 쓰인다. 립싱크는 번역된 음성에 맞춰 영상 속 인물의 입 움직임을 실시간으로 조정하고, 화자 탐지는 영상과 음성을 함께 분석해 여러 인물 가운데 실제 발화자를 찾아낸다. 음성 분야에서는 스튜디오 보이스(Studio Voice)가 일반 마이크 음성을 방송용 품질로 보정하고, 별도의 잡음 제거 기능이 주변 소음을 줄인다.

엔비디아는 기존 AI 생성 영상 탐지 도구인 신세틱 비디오 디텍터(Synthetic Video Detector)도 개선했다.