VMLU (Vietnamese Multitask Language Understanding) wurde von Zalo AI in Zusammenarbeit mit dem Japan Advanced Institute of Science and Technology (JAIST) entwickelt, um der KI-Forschungs- und Entwicklungsgemeinschaft in Vietnam mehr Tools zur Bewertung der Ausgabequalität vietnamesischer generativer KI-Modelle zur Verfügung zu stellen.
Es handelt sich hierbei also um einen vielschichtigen, mehrstufigen vietnamesischen Prüfungsstandardsatz, der mit 10.880 Multiple-Choice-Fragen zu 58 verschiedenen Themengebieten den unterschiedlichsten Anforderungen am heutigen Markt gerecht wird.
Warum benötigt AI Vietnam einen vollständigen Satz von Standards zur Beurteilung der vietnamesischen Sprachkenntnisse?
Das explosive Wachstum von ChatGPT hat ein neues Rennen ausgelöst: Generative KI. Statistiken zufolge gibt es seit der Einführung von ChatGPT weltweit etwa 16.000 Modelle, die ChatGPT ähneln.
Auch Vietnam ist von diesem Trend nicht ausgeschlossen, denn es gibt viele Forschungsgruppen unterschiedlicher Größenordnung und mit unterschiedlichem Potenzial, die ebenfalls mit generativer KI unter Verwendung vietnamesischer Forscher experimentieren möchten. Dies hat dazu geführt, dass für diese KI-Modelle ein Satz zur Bewertung der Vietnamesischkenntnisse erforderlich ist, um das Wissens- und Denkniveau in Vietnamesisch zu messen.
Auf dem aktuellen Markt müssen die meisten LLM-Forschungsgruppen in Vietnam ihr eigenes Bewertungs-Toolkit mit eigenen Standards für ihre Modelle erstellen. Dabei handelt es sich um interne Überprüfungen, die noch nicht öffentlich verfügbar sind. Das Evaluation Set von Zalo AI ist auf allgemeine Bedürfnisse ausgerichtet, kann als gemeinsamer Standard für LLM-Modelle verwendet werden und wird der KI-Community zur Verfügung gestellt. Dadurch können auch kleine Forschungsgruppen auf umfassende Bewertungsdatensätze zugreifen und die Ergebnisse miteinander vergleichen. Erstellen Sie von dort aus eine umfassendere Modellmotivation.
Vietnamesische KI dazu motivieren, sich der weltweiten Welle generativer KI anzuschließen
Im November 2023 gab Zalo AI offiziell die VMLU-Standards zur Bewertung der Vietnamesischkenntnisse bekannt. Hierbei handelt es sich um einen Satz von Standards, die von den KI-Ingenieuren von Zalo in Zusammenarbeit mit JAIST erforscht und entwickelt wurden, um die Fähigkeit zu bewerten, die vietnamesische Sprache von KI-Modellen, insbesondere generativer KI, zu verstehen und anzuwenden.
Die Gründung von VMLU hat Einzelpersonen, Startups oder kleine Forschungsgruppen dazu motiviert, neue vietnamesische KI-Modelle zu entwickeln. Dies erleichtert neue Forschung, legt den Grundstein für die Messung der Genauigkeit und die Verbesserung der Ergebnisse grundlegender Modelle und trägt dazu bei, den Entwicklungsprozess vietnamesischsprachiger KI-Anwendungen zu perfektionieren, die von Vietnamesen für Vietnamesen entwickelt werden.
Dies ist auch einer der wichtigen Faktoren, die die Entwicklung der generativen KI in Vietnam beschleunigen und dafür sorgen, dass das Land mit der Welle der KI-Entwicklung in der Welt Schritt halten kann.
Welche Standards gelten für die Beurteilung der Vietnamesischkenntnisse?
Dementsprechend handelt es sich hierbei um einen Satz vielschichtiger, mehrstufiger Bewertungsstandards für die vietnamesische Sprache, der die unterschiedlichsten Anforderungen auf dem vietnamesischen Markt für Forschung und Entwicklung im Bereich der generativen KI erfüllt und sich auf zwei Hauptteile konzentriert: Daten (Testdatensatz) und einen Satz Bewertungsstandards als Grundlage für das Testen von KI-Modellen unter Verwendung der vietnamesischen Sprache.
Konkret umfasst der Datensatz 10.880 Multiple-Choice-Fragen zu 58 verschiedenen Themen. Jedes Thema umfasst etwa 200 Fragen und ist auf vier Bereiche verteilt, darunter: MINT, Sozialwissenschaften, Geisteswissenschaften und eine breite Kategorie „Erweitert“. Mit diesem Datenblock verfügt VMLU über eine Schwierigkeitsschichtung mit 4 Stufen: Grundschule, Sekundarschule, Gymnasium und Berufsausbildung – für Universität und Aufbaustudium. Von dort aus hilft das Toolkit dabei, die vietnamesischen Sprachkenntnisse von KI-Modellen sowohl im Hinblick auf grundlegende Kenntnisse als auch auf die Lösung komplexer Probleme effektiv zu bewerten.
Um Forschungsgruppen die Bewertung der Fähigkeiten ihrer vietnamesischen KI-Modelle zu erleichtern, hat das Zalo AI-Entwicklungsteam außerdem Anweisungen entwickelt, mit denen die Gruppen sie schnell und einfach verwenden können.
Tragen Sie zur vietnamesischen KI-Community bei
Der VMLU-Standardsatz wurde als Forschungsprodukt entwickelt, das insbesondere zur vietnamesischen KI-Forschungsgemeinschaft und allgemein zur Informationstechnologie-Community beitragen und diese weiterentwickeln soll, ohne dass dafür Benutzer, Forschungsgruppen oder Unternehmen dafür Gebühren zahlen müssen.
Zuvor hat Zalo AI eine Reihe von Wettbewerben und Programmen für die vietnamesische KI-Community implementiert, bereitgestellt und organisiert, wie z. B.: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit ... Diese Aktivitäten schaffen nicht nur einen Spielplatz für die vietnamesische KI-Community, sondern fördern auch die Anwendung von KI im Leben, lösen dringende soziale Probleme und erfüllen die Bedürfnisse von Millionen Vietnamesen.
Dr. Chau Thanh Duc, Leiter der Zalo AI-Forschungsabteilung und Dozent an der Universität für Naturwissenschaften der Ho-Chi-Minh-Stadt-Nationaluniversität, bekräftigte: „Zalo AI möchte stets einen Beitrag zur vietnamesischen KI-Community leisten und die Entwicklung vietnamesischer KI motivieren. Wir erwarten daher immer mehr KI-Produkte von Vietnamesen für Vietnamesen.“
[Anzeige_2]
Quelle
![[Foto] Premierminister Pham Minh Chinh leitet die Sitzung des Ständigen Regierungsausschusses zum Flughafenprojekt Gia Binh](https://vphoto.vietnam.vn/thumb/1200x675/vietnam/resource/IMAGE/2025/5/10/6d3bef55258d417b9bca53fbefd4aeee)
Kommentar (0)