소라와 같은 텍스트-비디오 AI

소라(OpenAI)

소라는 가장 최근에 발표된 이름이지만 가장 큰 화제를 모았습니다. 그 이유는 부분적으로는 ChatGPT의 유명 개발사인 OpenAI의 제품이기 때문이지만, 주된 이유는 이 프로그램이 텍스트 명령만으로 생성하는 비디오의 품질 때문입니다.

ChatGPT의 성공은 또한 이 회사의 인공지능이 심층적인 언어 이해 능력을 갖출 수 있게 해줍니다. 소라의 능력을 보여주는 영상은 라이브 액션 영화처럼 캐릭터의 움직임과 미묘한 차이를 매우 생생하게 보여줍니다.

소라가 텍스트 명령으로 만든 "초현실적" 영상

하지만 안전상의 이유로 소라는 아직 시장에 출시되지 않았습니다. OpenAI는 특히 범죄자들이 악의적인 목적, 사용자 사칭 또는 불법적인 목적으로 인공지능을 악용할 수 있다는 맥락에서 이 제품을 대중에게 선보이기 전에 신중한 조치를 취할 것입니다.

루미에르(Google)

루미에르는 구글 제품으로서 입력 텍스트 명령으로부터 비디오를 생성할 수 있으며, STUNet(Space-Time-U-Net) 구조적 확산 모델을 기반으로 작동합니다. 루미에르는 정지된 프레임을 스티칭하는 데 시간을 허비하지 않습니다. 대신, 이 AI는 비디오의 세부 사항(공간적 부분)을 식별하고, 이러한 세부 사항이 어떻게 움직이고 동시에 바뀌는지(시간적 부분) 추적하여 프로세스가 원활하게 진행되도록 돕습니다.

소라와 마찬가지로 루미에르도 대중에게 공개되지 않았습니다. 이 회사는 최근 Bard와 동기화된 대규모 언어 모델인 Gemini를 출시한 후인 2024년 1월 말에야 이 모델을 선보였습니다.

VideoPoet(구글)

이 대규모 언어 모델(LLM)은 2023년 Google 검색에서 개발한 비디오, 이미지, 오디오 및 텍스트의 거대한 저장소에서 학습되었습니다. VideoPoet은 텍스트, 이미지, 비디오와 같은 입력 소스에서 다양한 작업을 수행하여 비디오를 만들고, 콘텐츠를 강조 표시하고, 비디오를 오디오로 변환하고, 정지 이미지를 애니메이션으로 변환할 수 있습니다.

VideoPoet의 원래 아이디어는 모든 자기회귀 언어 모델을 비디오 생성 시스템으로 변환해야 한다는 필요성에서 나왔습니다. 현재의 자기회귀 언어 모델은 사람처럼 텍스트와 프로그래밍 코드를 처리할 수 있지만 비디오에 관해서는 한계에 부딪혔습니다. VideoPoet는 토큰화를 사용하여 모든 형식의 입력을 이해할 수 있는 언어로 변환하여 이 문제를 해결합니다.

텍스트로 비디오를 만드는 도구는 대부분 한계를 시험하고 있습니다.

에뮤 비디오(메타)

Google과 OpenAI 외에도 Meta는 AI 혁신에 적극적으로 참여하는 빅테크 기업 중 하나입니다. 페이스북을 소유한 회사는 또한 Emu Video라는 영상 제작 AI를 개발했는데, 이는 이미지를 텍스트로 변환한 후 이를 데이터로 사용하여 클립을 만들 수 있습니다.

Emu Video는 테스트 프로그램 참가자들로부터 긍정적인 평가를 받고 있으며, 81%가 Imagen Video(구글)보다 이 AI를 선호합니다. 90% 이상이 PYOCO(Nvidia) 대신 Meta의 모델을 선택했으며, 이는 Meta의 Make-A-Video(96%가 선택)보다 더 나은 결과였습니다.

CogVideo(칭화대학교, 중국)

위의 모델이 모두 세계 유수의 기술 기업의 제품인 것과는 달리 CogVideo는 중국과 아시아의 대표적인 명문 대학인 청화대 학교 의 연구팀이 개발한 AI입니다. 이 프로그램은 사전 훈련된 텍스트-이미지 모델인 CogView2를 기반으로 합니다.

CogVideo를 테스트한 컴퓨터 아트 전문가 글렌 마셜은 "감독들이 일자리를 잃을 수도 있다"고 말했습니다. 그는 CogVideo의 도움을 받아 The Crow 라는 제목의 영상을 제작했는데, 이 영상은 높은 평가를 받았으며 영국 아카데미 영화상(BAFTA)에 후보로 지명되었습니다.

소스 링크: https://thanhnien.vn/nhung-ai-bien-van-ban-thanh-video-tuong-tu-sora-185240220082532259.htm