Zalo AI anuncia estándares gratuitos de evaluación de competencia en vietnamita

[anuncio_1]

VMLU (Vietnamese Multitask Language Understanding) fue desarrollado por Zalo AI en colaboración con el Instituto Avanzado de Ciencia y Tecnología de Japón (JAIST) para ayudar a la comunidad de investigación y desarrollo de IA en Vietnam a tener más herramientas para evaluar la calidad de salida de los modelos de IA generativa vietnamitas.

En consecuencia, este es un conjunto de estándares de evaluación vietnamita multifacético y de múltiples niveles que satisface las necesidades más diversas del mercado actual con 10,880 preguntas de opción múltiple que giran en torno a 58 temas diferentes.

zalo ai.jpg — El conjunto de estándares de evaluación de competencia vietnamita fue investigado y desarrollado por ingenieros de IA de Zalo en colaboración con JAIST para evaluar la capacidad de comprender y aplicar el idioma vietnamita de los modelos de IA, especialmente la IA generativa.

¿Por qué AI Vietnam necesita un conjunto completo de estándares de evaluación de la competencia en el idioma vietnamita?

El crecimiento explosivo de ChatGPT ha creado una nueva carrera: la IA generativa. Según las estadísticas, desde que se introdujo ChatGPT, actualmente existen alrededor de 16.000 modelos similares a ChatGPT en el mundo.

Vietnam no queda fuera de esa tendencia, ya que existen muchos grupos de investigación con diferentes escalas y potenciales que también quieren experimentar con IA generativa utilizando el idioma vietnamita. Esto ha llevado a la necesidad de un conjunto de evaluaciones de competencia en vietnamita para estos modelos de IA para medir el nivel de conocimiento y pensamiento en vietnamita.

En el mercado actual, la mayoría de los grupos de investigación de LLM en Vietnam tienen que crear su propio conjunto de herramientas de evaluación con sus propios estándares para sus modelos. Se trata de revisiones internas que aún no están disponibles públicamente. El conjunto de evaluación de Zalo AI está orientado a las necesidades generales, se puede utilizar como un estándar común para los modelos LLM y se proporciona a la comunidad de IA. Esto permite que pequeños grupos de investigación accedan a conjuntos de datos de evaluación completos y les permita comparar resultados entre sí. A partir de ahí, crear un modelo de motivación más completo.

Motivando a la IA vietnamita a unirse a la ola mundial de IA generativa

En noviembre de 2023, Zalo AI anunció oficialmente los estándares de evaluación de competencia vietnamita de VMLU. Se trata de un conjunto de estándares investigados y desarrollados por los ingenieros de IA de Zalo en colaboración con JAIST para evaluar la capacidad de comprender y aplicar el idioma vietnamita de los modelos de IA, especialmente la IA generativa.

El nacimiento de VMLU ha motivado a individuos, empresas emergentes o pequeños grupos de investigación a desarrollar nuevos modelos de IA vietnamitas. Esto facilita nuevas investigaciones, sienta las bases para medir la precisión y actualizar los resultados de los modelos básicos, y ayuda a perfeccionar el proceso de desarrollo de aplicaciones de inteligencia artificial en idioma vietnamita, creadas por vietnamitas para servir a la gente vietnamita.

Este es también uno de los factores importantes que impulsan el desarrollo de la IA generativa en Vietnam para avanzar más rápido y ponerse al día con la ola de desarrollo de la IA en el mundo.

¿Cuáles son los estándares de evaluación de la competencia en el idioma vietnamita?

En consecuencia, este es un conjunto de estándares de evaluación del idioma vietnamita multifacéticos y de múltiples niveles que satisfacen las necesidades más diversas en el mercado de investigación y desarrollo de IA generativa vietnamita, centrándose en dos partes principales: Datos (conjunto de datos de prueba) y un conjunto de estándares de evaluación, como base para probar modelos de IA aplicando el idioma vietnamita.

En concreto, el conjunto de datos incluye 10.880 preguntas de opción múltiple que giran en torno a 58 temas diferentes. Cada tema tiene alrededor de 200 preguntas y se distribuye en 4 áreas que incluyen: STEM, Ciencias Sociales, Humanidades y una amplia categoría “Extendida”. Con este bloque de datos, VMLU cuenta con una estratificación de dificultad con 4 niveles: Primaria, Secundaria, Bachillerato y Vocacional -para universitarios y posgrados-. A partir de ahí, el kit de herramientas ayuda a evaluar eficazmente la competencia en idioma vietnamita de los modelos de IA, tanto en los conocimientos básicos como en la resolución de problemas complejos.

Además, para ayudar a los grupos de investigación a evaluar fácilmente las capacidades de sus modelos de IA vietnamitas, el equipo de ingeniería de IA de Zalo ha diseñado instrucciones para que los grupos puedan usarlos de manera rápida y sencilla.

Contribuya a la comunidad vietnamita de IA

El conjunto de estándares VMLU nació como un producto de investigación destinado a contribuir y desarrollar la comunidad de investigación de IA vietnamita en particular y la comunidad de tecnología de la información en general, sin cobrar a ningún usuario, grupo de investigación o empresa.

Anteriormente, Zalo AI ha implementado, desplegado y organizado una serie de competencias y programas para la comunidad de IA vietnamita, como: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Estas actividades no solo crean un patio de juegos para la comunidad de IA vietnamita, sino que también fomentan la aplicación de la IA en la vida, resuelven problemas sociales urgentes y atienden las necesidades de millones de vietnamitas.

El Dr. Chau Thanh Duc, Jefe del Departamento de Investigación de IA de Zalo y Profesor de la Universidad de Ciencias Naturales de la Universidad Nacional de Ciudad Ho Chi Minh, afirmó: «Zalo AI siempre busca contribuir a la comunidad vietnamita de IA, motivando el desarrollo de la IA vietnamita. Por ello, esperamos cada vez más productos de IA hechos por vietnamitas, para vietnamitas».

[anuncio_2]
Fuente