Zalo AI, 무료 베트남어 능력 평가 기준 발표

[광고_1]

VMLU(베트남어 멀티태스크 언어 이해)는 Zalo AI가 일본 과학기술고등연구소(JAIST)와 협력하여 개발한 것으로, 베트남의 AI 연구 개발 커뮤니티가 베트남 생성 AI 모델의 출력 품질을 평가할 수 있는 도구를 더 많이 갖출 수 있도록 돕기 위해 개발되었습니다.

따라서 이는 오늘날 시장에서 가장 다양한 요구를 충족하는 다면적이고 다단계적인 베트남어 평가 표준 세트로, 58개의 다양한 주제를 중심으로 10,880개의 객관식 문제로 구성되어 있습니다.

잘로 ai.jpg — 베트남어 능력 평가 표준 세트는 Zalo AI 엔지니어들이 JAIST와 협력하여 연구 개발하였으며, 특히 생성 AI를 포함한 AI 모델의 베트남어를 이해하고 적용하는 능력을 평가하기 위해 마련되었습니다.

AI Vietnam에 완전한 베트남어 능력 평가 기준이 필요한 이유는 무엇입니까?

ChatGPT의 폭발적인 성장으로 새로운 경쟁 분야인 생성적 AI가 탄생했습니다. 통계에 따르면, ChatGPT가 출시된 이후 현재까지 전 세계적으로 ChatGPT와 유사한 모델이 약 16,000개 정도 존재합니다.

베트남도 다양한 규모와 잠재력을 지닌 많은 연구 그룹이 베트남어를 활용한 생성 AI 실험을 시도하고 있는 추세에서 벗어나지 못했습니다. 이로 인해 베트남어에 대한 지식과 사고 수준을 측정하기 위해 이러한 AI 모델에 대한 베트남어 능력 평가 세트가 필요하게 되었습니다.

현재 시장에서 베트남의 대부분 LLM 연구 그룹은 자체 모델에 대한 표준을 갖춘 자체 평가 툴킷을 구축해야 합니다. 이는 내부 리뷰이므로 아직 대중에 공개되지 않았습니다. Zalo AI의 평가 세트는 일반적인 요구 사항을 목표로 하며, LLM 모델의 공통 표준으로 사용될 수 있으며 AI 커뮤니티에 제공됩니다. 이를 통해 소규모 연구 그룹도 포괄적인 평가 데이터 세트에 접근하고 서로 결과를 비교할 수 있습니다. 거기서부터 더욱 완벽한 동기 모델이 만들어집니다.

베트남 AI가 세계의 생성적 AI 열풍에 동참하도록 동기를 부여합니다.

2023년 11월, Zalo AI는 VMLU 베트남어 능력 평가 기준을 공식 발표했습니다. 이는 Zalo AI 엔지니어가 JAIST와 협력하여 연구 개발한 표준 세트로, 특히 생성 AI를 포함한 AI 모델의 베트남어를 이해하고 적용하는 능력을 평가하기 위해 만들어졌습니다.

VMLU의 탄생은 개인, 스타트업 또는 소규모 연구 그룹이 새로운 베트남 AI 모델을 개발하도록 동기를 부여했습니다. 이를 통해 새로운 연구가 촉진되고, 정확도 측정 및 기본 모델의 결과 업그레이드를 위한 기반이 마련되며, 베트남인이 베트남인에게 서비스를 제공하기 위해 만든 베트남어 AI 애플리케이션의 개발 프로세스가 완성되는 데 도움이 됩니다.

이는 베트남의 생성적 AI 개발이 더욱 빠르게 진행되고, 세계의 AI 개발 흐름에 발맞추는 데 중요한 요인 중 하나이기도 합니다.

베트남어 능력 평가 기준은 무엇입니까?

따라서 이는 베트남 생성 AI 연구 개발 시장의 가장 다양한 요구를 충족하는 다면적이고 다단계적인 베트남어 평가 표준 세트이며, 베트남어를 적용하는 AI 모델을 테스트하기 위한 기초가 되는 데이터(테스트 데이터 세트)와 일련의 평가 표준이라는 두 가지 주요 부분에 초점을 맞춥니다.

구체적으로, 이 데이터 세트에는 58개의 다양한 주제를 중심으로 한 10,880개의 객관식 문제가 포함되어 있습니다. 각 주제는 약 200개의 질문으로 구성되어 있으며 STEM, 사회 과학, 인문학 및 광범위한 "확장" 카테고리를 포함한 4개 영역에 걸쳐 분포되어 있습니다. VMLU는 이 데이터 블록을 사용하여 초등학교, 중등학교, 고등학교, 직업학교(대학 및 대학원)의 4개 레벨로 난이도를 분류했습니다. 이를 통해 툴킷은 기본 지식과 복잡한 문제 해결 측면에서 AI 모델의 베트남어 능력을 효과적으로 평가하는 데 도움이 됩니다.

또한 Zalo AI 엔지니어링 팀은 연구 그룹이 베트남 AI 모델의 성능을 쉽게 평가할 수 있도록 그룹이 빠르고 간편하게 사용할 수 있는 지침을 설계했습니다.

베트남 AI 커뮤니티에 기여하세요

VMLU 표준 세트는 사용자, 연구 그룹 또는 기업에 비용을 청구하지 않고 특히 베트남 AI 연구 커뮤니티와 정보 기술 커뮤니티 전반에 기여하고 발전시키는 것을 목표로 하는 연구 제품으로 탄생했습니다.

이전에 Zalo AI는 Zalo AI 챌린지, Zalo AI 해커톤, Zalo AI 서밋 등 베트남 AI 커뮤니티를 위해 일련의 대회와 프로그램을 구현, 배포 및 조직했습니다. 이러한 활동은 베트남 AI 커뮤니티를 위한 놀이터를 조성할 뿐만 아니라, 생활 속에서 AI를 적용하도록 장려하고, 긴급한 사회 문제를 해결하며, 수백만 명의 베트남 사람들의 요구를 충족시킵니다.

호치민시 국립대학교 자연과학대학 강사이자 Zalo AI 연구부장인 쩌우 탄 득 박사는 다음과 같이 단언했습니다. "Zalo AI는 항상 베트남 AI 커뮤니티에 기여하고 베트남 AI 발전에 동기를 부여하는 것을 목표로 합니다. 이를 통해 베트남 사람들이 베트남 사람들을 위해 더 많은 AI 제품을 개발하기를 기대합니다."

[광고_2]
원천