이 제품은 베트남 과학 및 기술 커뮤니티에서 빠르게 화제를 모았습니다.

베트남 문제를 해결하기 위해 어려운 길을 선택하다

2022년 말, ChatGPT는 '빅뱅'을 일으켜 기술 분야의 국가와 거대 기업 사이에서 인공 AI 정복 경쟁을 시작할 것입니다. 당시 베트남 기술계 역시 베트남 제품을 기술적으로 독립시키고 국제 제품에 대한 의존도를 줄이기 위해 개발하고자 의욕적이었습니다. 하지만 모든 부서가 VinBigdata처럼 그 희망을 실현할 능력과 결의력을 갖고 있는 것은 아닙니다.

“생성 AI는 어려운 문제입니다. OpenAI나 Google과 같은 대기업도 우리가 보는 것과 같은 제품을 만들기 위해 연구에 많은 리소스와 시간을 투자해야 합니다. 이러한 제품은 훌륭하지만, 과학자들은 아직 그 작동 원리를 완전히 이해하지 못합니다. 언제 실패할지, 어떤 실패가 있을지 예측하기는 어렵습니다. 1년도 채 안 되는 짧은 시간 안에 베트남 사람들을 대상으로 ChatGPT와 유사한 제품을 개발하기 위해서는 많은 과제가 필요했습니다. 하지만 우리는 "위험을 감수"하기로 했습니다. 베트남 사람들이 ChatGPT의 베트남 버전을 만들지 않는다면 누가 만들겠습니까?" - 교수. VinBigdata의 과학 책임자인 Vu Ha Van이 공유했습니다.

실제로 자체적으로 대규모 언어 모델을 처음부터 구축하는 회사는 거의 없습니다. OpenAI의 GPT 3는 1,750억 개의 매개변수를 갖고 있으며 45테라바이트 규모의 데이터 세트로 훈련을 받았고 비용은 460만 달러였습니다. 계산에 따르면 GPT 4를 개발하는 데 드는 비용은 최대 1억 달러에 달할 수 있습니다. "이렇게 규모가 크면 이 기술에 투자할 여유가 있는 회사를 찾는 게 어렵습니다."라고 박사는 말했습니다. VinBigdata의 제품 디렉터인 Nguyen Kim Anh이 말했다.

그림 1.jpg

베트남 기업이 최적의 비용과 인프라로 차세대 AI 기술에 접근하기 위해 VinBigdata는 완전히 다른 방향을 선택했습니다. 즉, 매개변수가 16억 개에 불과하지만 수십억 개의 매개변수가 있는 대규모 언어 모델과 동등한 기능을 갖춘 언어 모델을 만드는 것입니다. "결과에 따르면 VinBigdata가 직접 개발한 아키텍처를 사용하면 언어 모델 교육 프로세스를 최적화하고 가속화하고 인프라 비용(교육 비용 및 사용 비용 포함)을 줄이면서도 모델의 품질을 보장할 수 있습니다." 박사. Nguyen Kim Anh이 덧붙여 말했습니다.

대규모 언어 모델 크기 문제를 해결한 후, ViGPT를 "구상"하는 과정에서 외국 모델을 연구한 후 VinBigdata 팀은 통계적 확률 모델의 고유한 특성에서 비롯되는 또 다른 과제인 "환상"을 깨달았습니다.

따라서 세계에서 가장 큰 언어 모델은 종종 영어 데이터 소스를 사용하여 훈련됩니다. 따라서 이 모델은 베트남 사람들의 맥락과 문화를 실제로 이해하고 적절하게 대응하지 못합니다. 이는 대규모 언어 모델이 잘못된 답변을 "조작"하게 만드는 환각을 유발합니다.

그림 3.jpg

최단 시간 내에 최적의 솔루션을 찾기 위해 VinBigdata의 자연어 처리(NLP)팀은 소규모 그룹으로 나뉘어 다양한 아이디어를 분석하고 논의하여 가장 적합한 최종 방향을 찾았습니다.

"결국, 우리는 대부분의 현재 대규모 언어 모델과는 다른 아키텍처를 개발하고, 600GB의 미세 조정된 베트남어 데이터 세트에 대한 교육을 수행하여 베트남 사람의 맥락에 따라 이해하고 답변할 수 있는 "지능형 가상 비서"를 만들기로 결정했습니다."라고 박사는 말했습니다. Nguyen Kim Anh이 덧붙여 말했습니다.

베트남 기술 생태계에 대한 열망

베트남어 능력 평가 기준(VMLU)의 평가 결과에 따르면 ViGPT는 평균 42.24%의 성적을 거두었으며, ChatGPT(48.54%)에 이어 두 번째로 높은 성적을 기록했습니다. 이 결과를 통해 ViGPT는 베트남과 관련된 특정 주제에 대한 정보를 빠르게 검색하고 질문에 답할 수 있습니다.

가상 비서의 기능 외에도 개발팀은 ViGPT를 익숙하고 매일 사용하는 제품에 통합하여 베트남 사람들의 삶에 변화를 가져오고자 합니다. 이것이 VinBigdata 팀이 ViGPT를 사용하여 언어 및 음성 제품의 생태계를 구축하려는 동기입니다. "Vi" 생태계에는 ViChat, ViVoice, ViVi Virtual Assistant가 포함됩니다. 이러한 제품은 자동차 산업, 은행업, 금융, 보험, 운송업을 비롯한 여러 산업 분야에서 사용될 수 있습니다.

"기술, 특히 AI를 연구할 때, 우리는 보기 힘든 흥미롭고 복잡한 시스템만을 정복하고 싶어하지 않습니다. VinBigdata 제품 책임자는 "우리는 AI가 삶에 변화를 가져오는 직접적인 요인이 되는, 구체적이고 적용성이 높은 제품을 만들고 싶습니다."라고 밝혔습니다.

이미지 4.jpg

따라서 ViGPT의 성공적인 개발은 "순수한 베트남식" 기술과 데이터를 수백만 명의 베트남 사람들의 삶에 도움이 되는 여정의 첫 단계에 불과합니다. VinBigdata 담당자는 이 사업부의 목표는 ViGPT를 VinBase 2.0 다중인지 인공지능 플랫폼에 통합해 다양한 규모와 업종의 조직 시스템과 기업에 뛰어난 솔루션을 제공하는 것이라고 밝혔습니다.

ViGPT 이전에 언어 및 음성 처리 기술 분야 전문가와 엔지니어 팀인 VinBigdata는 최초의 포괄적인 베트남어 가상 비서인 ViVi를 출시하여 주목을 받았고(VinFast 전기 자동차, Vinhomes Resident 애플리케이션 및 Vinhomes Online 전자 상거래 플랫폼에 적용 및 배포), 동시에 음성 생체 인식이나 음성 복제와 같은 세계에서 가장 진보된 기술을 완벽하게 습득했습니다.

이러한 모든 기술은 3,500테라바이트 규모의 데이터베이스를 기반으로 개발되었으며, 주로 베트남 관련 데이터에 초점을 맞춰 VinBigdata에서 수집, 분석, 개선했습니다. 궁극적인 목표는 베트남 데이터와 지식 시스템을 활용해 세계 기술을 베트남 생활에 접목하는 것입니다.

ViGPT는 VinBigdata가 개발한 베트남어 대규모 언어 모델(LLM)을 기반으로 하는 최종 사용자를 위한 최초의 "베트남어 버전의 ChatGPT"입니다. ViGPT는 뛰어난 기능을 보유하고 있으며, 콘텐츠 생성, 정보 검색, 베트남에서 흔히 볼 수 있는 일반적인 질문에 대한 답변 등 베트남 사람들의 요구에 가장 잘 부합하도록 설계되었습니다. vigpt.vinbigdata.com에서 등록하고 ViGPT를 경험하세요.

탄하