VMLU (ベトナム語マルチタスク言語理解) は、ベトナムの AI 研究開発コミュニティがベトナム語生成 AI モデルの出力品質を評価するためのツールをさらに利用できるようにするために、Zalo AI が北陸先端科学技術大学院大学 (JAIST) と共同で開発しました。
したがって、これは、58 の異なるトピックを中心とした 10,880 の多肢選択式質問を備え、今日の市場で最も多様なニーズを満たす、多面的かつ多段階のベトナム語評価標準セットです。
AI ベトナムにベトナム語能力評価基準の完全なセットが必要なのはなぜですか?
ChatGPT の爆発的な成長により、Generative AI という新しい競争が生まれました。統計によると、ChatGPTが導入されて以来、現在、ChatGPTに類似したモデルが世界中に約16,000個存在します。
規模や可能性が異なる多くの研究グループがベトナム語を使った生成AIの実験を望んでいることから、ベトナムもこの傾向から外れているわけではありません。このため、ベトナム語の知識と思考のレベルを測定するために、これらの AI モデル用のベトナム語能力評価セットが必要になりました。
現在の市場では、ベトナムのほとんどのLLM研究グループは、モデルに独自の基準を備えた独自の評価ツールキットを構築する必要があります。これらは内部レビューであり、まだ公開されていません。 Zalo AI の評価セットは一般的なニーズを対象としており、LLM モデルの共通標準として使用でき、AI コミュニティに提供されます。これにより、小規模な研究グループが包括的な評価データセットにアクセスし、結果を相互に比較できるようになります。そこから、より完全なモデル動機を作成します。
ベトナムのAIが世界の生成AIの波に乗るよう促す
2023年11月、Zalo AIはVMLUベトナム語能力評価基準を正式に発表しました。これは、AI モデル、特に Generative AI のベトナム語の理解と適用能力を評価するために、Zalo AI エンジニアが JAIST と共同で研究開発した一連の標準です。
VMLU の誕生により、個人、スタートアップ企業、小規模な研究グループが新しいベトナムの AI モデルを開発するようになりました。これにより、新たな研究が促進され、精度の測定と基本モデルの成果の向上の基盤が築かれ、ベトナム人によってベトナム人のために作成されたベトナム語 AI アプリケーションの開発プロセスが完成します。
これは、ベトナムでの生成AIの開発を加速させ、世界のAI開発の波に追いつくための重要な要素の1つでもあります。
ベトナム語の語学力評価基準は何ですか？
したがって、これは、ベトナム語を適用した AI モデルをテストするための基礎として、データ (テスト データセット) と一連の評価基準という 2 つの主要部分に焦点を当てた、ベトナム語の生成 AI 研究開発市場の最も多様なニーズを満たす、多面的で多レベルのベトナム語評価基準のセットです。
具体的には、データセットには 58 の異なるトピックに関する 10,880 件の複数選択問題が含まれています。各トピックには約 200 問の質問があり、STEM、社会科学、人文科学、および幅広い「拡張」カテゴリを含む 4 つの領域に分散されています。このデータ ブロックでは、VMLU は、小学校、中学校、高等学校、職業学校 (大学および大学院向け) の 4 つのレベルで難易度を階層化しています。そこから、ツールキットは、基本的な知識と複雑な問題の解決の両方において、AI モデルのベトナム語能力を効果的に評価するのに役立ちます。
さらに、研究グループがベトナムの AI モデルの機能を簡単に評価できるように、Zalo AI エンジニアリング チームは、グループがモデルを迅速かつ簡単に使用できるように手順を設計しました。
ベトナムのAIコミュニティに貢献する
VMLU 標準セットは、ユーザー、研究グループ、企業に料金を請求することなく、特にベトナムの AI 研究コミュニティ、そして一般的には情報技術コミュニティに貢献し、発展させることを目的とした研究成果として誕生しました。
これまで、Zalo AI は、Zalo AI チャレンジ、Zalo AI ハッカソン、Zalo AI サミットなど、ベトナムの AI コミュニティ向けに一連のコンテストやプログラムを実施、展開、組織してきました。これらの活動は、ベトナムの AI コミュニティの遊び場を作るだけでなく、生活への AI の応用を奨励し、緊急の社会問題を解決し、何百万人ものベトナム人のニーズに応えています。
Zalo AI研究部門長であり、ホーチミン市国家大学自然科学科講師でもあるチャウ・タン・ドゥック博士は、次のように述べています。「Zalo AIは常にベトナムのAIコミュニティに貢献し、ベトナムのAIの発展を促すことを目指しています。今後、ベトナム人による、ベトナム人のためのAI製品がますます増えていくことを期待しています。」
[広告2]
ソース
コメント (0)