소라와 같은 텍스트-비디오 AI

소라(OpenAI)

소라는 가장 최근에 발표된 이름이지만 가장 큰 화제를 불러일으켰습니다. 그 이유는 부분적으로는 ChatGPT의 유명 개발사인 OpenAI의 제품이기 때문이지만, 주로 이 프로그램이 텍스트 명령만으로 생성하는 비디오의 품질 때문입니다.

ChatGPT의 성공은 또한 이 회사의 인공지능에 심층적인 언어 이해 능력을 부여했습니다. 소라의 능력을 보여주는 영상은 마치 라이브 액션 영화처럼 캐릭터의 움직임과 미묘한 차이를 매우 생생하게 보여줍니다.

소라가 텍스트 명령으로 만든 "초현실주의" 영상

하지만 안전상의 이유로 소라는 아직 출시되지 않았습니다. OpenAI는 이 제품을 대중에게 선보이기 전에, 특히 인공지능이 범죄자들에 의해 악의적인 목적, 사용자 사칭 또는 불법적인 목적으로 악용될 수 있다는 맥락에서 신중한 조치를 취할 것입니다.

루미에르(구글)

루미에르는 구글의 제품으로, 입력된 텍스트 명령으로부터 비디오를 생성할 수 있으며, STUNet(Space-Time-U-Net) 구조적 확산 모델을 기반으로 작동합니다. 루미에르는 정지된 프레임을 꿰매는 데 시간을 허비하지 않습니다. 대신, 이 AI는 비디오의 세부 사항(공간적 부분)을 식별하고, 그것들이 어떻게 움직이고 동시에 어떻게 바뀌는지(시간적 부분) 추적하여 프로세스가 원활하게 진행되도록 돕습니다.

소라와 마찬가지로 루미에르도 대중에 공개되지 않았습니다. 이 회사는 최근 Bard와 동기화된 대규모 언어 모델인 Gemini를 출시한 후 2024년 1월 말에야 이 모델을 선보였습니다.

비디오포엣(구글)

이 대규모 언어 모델(LLM)은 Google 검색에서 2023년에 개발한 비디오, 이미지, 오디오, 텍스트의 거대한 저장소에서 학습되었습니다. VideoPoet은 텍스트, 이미지, 비디오 등과 같은 입력 소스에서 다양한 작업을 수행하여 비디오를 만들고, 콘텐츠를 강조 표시하고, 비디오를 오디오로 변환하고, 정지 이미지를 애니메이션으로 바꿀 수 있습니다.

VideoPoet의 원래 아이디어는 모든 자기회귀 언어 모델을 비디오 생성 시스템으로 변환해야 한다는 필요성에서 나왔습니다. 현재의 자기회귀 언어 모델은 사람처럼 텍스트와 프로그래밍 코드를 처리할 수 있지만, 비디오에 관해서는 한계에 부딪혔습니다. VideoPoet은 토큰화를 사용하여 모든 형식의 입력을 이해할 수 있는 언어로 변환함으로써 이 문제를 해결합니다.

텍스트로 비디오를 만드는 도구는 대부분 한계를 시험하고 있습니다.

에뮤 비디오(메타)

Google과 OpenAI 외에도 Meta는 AI 혁신에 적극적으로 참여하는 빅테크 기업 중 하나입니다. Facebook을 소유한 회사는 또한 Emu Video라는 비디오 제작 AI를 개발했는데, 이는 이미지를 텍스트로 변환한 후 이를 데이터로 사용하여 클립을 만들 수 있습니다.

Emu Video는 테스트 프로그램 참여자로부터 긍정적인 평가를 받고 있으며, 참여자의 81%가 Imagen Video(Google)보다 이 AI를 선호합니다. 90% 이상이 PYOCO(Nvidia)보다 Meta의 모델을 선택했으며, 이는 Meta의 Make-A-Video(96%가 선택)보다 더 나은 결과입니다.

CogVideo(칭화대학교, 중국)

위의 모델들이 모두 세계 유수의 기술 기업의 제품인 것과 달리, CogVideo는 중국과 아시아의 대표적인 명문 대학인 청화대 학교 연구팀이 개발한 AI입니다. 이 프로그램은 사전 훈련된 텍스트-이미지 모델인 CogView2를 기반으로 합니다.

CogVideo를 테스트한 컴퓨터 아트 전문가 글렌 마셜은 "감독들이 일자리를 잃을 수도 있다"고 말했습니다. CogVideo의 도움으로 제작한 The Crow 라는 영상은 높은 평가를 받았으며 영국 아카데미 영화상(BAFTA)에 후보로 지명되었습니다.

소스 링크: https://thanhnien.vn/nhung-ai-bien-van-ban-thanh-video-tuong-tu-sora-185240220082532259.htm