AI4VN 2023에서 베트남어를 구사하는 AI MC를 경험하세요

10시간 분량의 대화 데이터와 1시간 분량의 녹음 데이터를 바탕으로 Saltlux는 베트남어를 유창하게 이해하고 소통할 수 있는 MC 겸 AI 비서를 구현할 예정입니다.

솔트룩스의 AI 어시스턴트와 메타휴먼(가상 공간에서 실제 사람을 재현)은 호치민시에서 열리는 베트남 인공지능 페스티벌( AI4VN 2023 )의 일환으로 열린 AI 엑스포 전시회에서 관람객들의 큰 관심을 모은 모델 중 일부입니다.

AI 비서는 ChatGPT와 같은 인기 있는 챗봇과 비슷하게 작동하지만, 다양한 상황에서 베트남어로 유연하고 정확하게 소통할 수 있습니다. 그 사이, 메타휴먼은 디지털 환경에서 어떤 사람의 사본을 만들어내며 많은 사람들을 들뜨게 했습니다.

이 두 모델을 결합하면 실시간으로 업데이트되는 정보를 바탕으로 베트남어로 소통할 수 있는 흥미로운 MC AI 버전을 만들 수 있습니다.

방문객들은 9월 21일 호치민시에서 열린 AI4VN 전시회에서 AI 어시스턴트와 메타휴먼 모델을 체험하고 있습니다. 사진: 쿠옹 나

솔트룩스의 기술을 사용하면 한 시간 동안 녹음하고 약 10시간 동안 대화하면 자신의 복제본을 만들 수 있습니다. AI는 충분한 이미지 데이터를 수집한 후 실제 사람의 이미지, 표정, 움직임, 억양을 자동으로 복사하여 가상 MC로 시뮬레이션하고 다양한 상황에서 활용할 수 있습니다.

각 사람의 얼굴 특징과 표정을 정확하게 묘사하기 위해 개발자는 많은 지식 그래프 인식 기술을 통합하여 의미 분할, 포즈 추정, 얼굴 인식, 손짓, 연령대 분류, 성별 등을 구현했습니다. 덕분에 가상 MC 버전이 실제 MC 버전과 거의 비슷해 보이고 일반 사용자는 차이점을 거의 알아볼 수 없습니다.

다음으로, 음성 분석 기술을 통해 자연어를 처리하여 실제 사람의 음성과 억양을 정확하게 재현한 후 가상 MC 모델에 삽입합니다. Saltlux는 Hybrid-Tacotron 딥 러닝 모델을 사용하여 AI가 중간음과 고음의 인간 음성을 모두 재현할 수 있도록 하여 안정성과 개인화를 극대화합니다.

그러면 텍스트를 음성으로, 음성을 텍스트로 변환해주는 음성 합성 엔진을 통해 AI MC와 상대방이 베트남어로 원활하게 직접 소통할 수 있게 됩니다.

소음이 많은 실제 환경에서도 Saltlux의 MC AI는 현장에서 말하는 대사를 완전히 듣고, 주어진 명령을 실행하기 전에 이를 글로 변환합니다. AI는 다양한 지역의 악센트를 잘 인식하고 사용자가 갑자기 주제를 바꿔도 콘텐츠에 신속하게 대응합니다. 사용자는 음성, 드래그 앤 드롭 명령, 채팅 상자에 내용 입력 등을 통해 AI와 상호 작용할 수 있습니다.

베트남어를 구사하는 AI MC의 장점 중 하나는 답변의 정확성입니다. Saltlux는 ChatGPT처럼 답변을 생성하는 대신 각 필드를 나누어 답변을 최대한 제어합니다. 예를 들어, 현재 뉴스의 경우 AI는 평판이 좋은 뉴스 출처에서만 뉴스를 얻습니다. AI는 결과를 종합하고 제공한 후, 사용자가 심도 있게 읽고 싶어할 경우 링크를 직접 접속할 수 있도록 기사를 인용합니다.

관광지와 관련된 질문을 할 때, 개발자는 콘텐츠를 미리 준비하고, 다양한 맥락에 넣어 사용자의 질문을 예측함으로써 높은 정확도로 적절한 답변을 제공합니다. 각 콘텐츠 영역을 나누고 입력 및 출력 필터를 유연하게 생성하면 AI 챗봇이 스스로 작성한 답변에 대한 '환상'이 크게 줄어듭니다.

한국에서는 이 AI 모델이 "굿파이 국민비서"를 만들어냈는데, 정부에서 이를 활용해 2,000만 명에게 공공행정 서비스를 제공하고 있습니다. 베트남에서는 2년 전부터 솔트룩스가 AI와 가상 MC 모델을 연구하고 운영했습니다. 대표적인 응용 프로그램 중 하나가 탐축사 단지의 가상 투어 가이드입니다. 이 시스템은 방문객이 질문에 답하고, 지시와 방향을 제공하고, 각 위치에 대해 설명하는 데 도움을 줄 뿐만 아니라, 각 사람의 위치를 ​​실시간으로 정확하게 파악하여 적절한 지시를 제공할 수도 있습니다.

Ploonet Studio 플랫폼 인터페이스를 사용하면 사용자는 강력한 장치가 없어도 AI를 이용해 직접 콘텐츠를 제작할 수 있습니다. 사진: 쿠옹 나

가상 MC와 음성이 생기면 사용자는 Ploonet Studio 플랫폼에서 콘텐츠와 호스팅 스타일을 사용자 지정하여 비디오를 대량으로 제작할 수 있습니다.

Ploonet Studio의 인터페이스도 간단해서, 사용자는 클릭하고 2분 정도 기다리기만 하면 시스템이 새로운 비디오를 게시합니다. 모든 작업이 클라우드 서버에서 이루어지므로 터미널 구성이 필요하지 않습니다. 라스베이거스에서 열리는 CES 2023에서 Ploonet Studio 플랫폼은 혁신상을 수상했습니다.

Saltlux 담당자는 자사의 AI 모델이 업무 효율성을 20% 높이고 운영 비용을 30% 이상 절감하며, 24시간 내내 높은 가용성을 보장한다고 밝혔습니다.

이 MC AI 모델을 운영하려면 사용자는 두 가지 수수료를 지불해야 합니다. 가상 공간에서 실제 인물을 재현하는 데 드는 고정 비용입니다. 패키지 가격은 고객이 요청한 난이도에 따라 달라집니다. 두 번째로 지불해야 하는 비용은 Ploonet Studio에서 비디오를 제작하는 데 드는 비용으로, 시간당 요금이 부과됩니다. Saltlux는 개별 고객에게 구체적인 가격을 공개하지 않았습니다. 이 회사는 기업과 정부 고객을 타겟으로 합니다.

Vnexpress.net