Zalo AI объявляет о бесплатных стандартах оценки уровня владения вьетнамским языком

VMLU (Vietnamese Multitask Language Understanding) был разработан Zalo AI в сотрудничестве с Японским передовым институтом науки и технологий (JAIST), чтобы помочь сообществу исследователей и разработчиков ИИ во Вьетнаме получить больше инструментов для оценки качества выходных данных вьетнамских моделей генеративного ИИ.

Соответственно, это многогранный, многоуровневый набор стандартов оценки вьетнамского языка, который отвечает самым разнообразным потребностям на современном рынке и содержит 10 880 вопросов с несколькими вариантами ответов, охватывающих 58 различных тем.

зало аи.jpg — Набор стандартов оценки уровня владения вьетнамским языком был исследован и разработан инженерами Zalo AI в сотрудничестве с JAIST для оценки способности понимать и применять вьетнамский язык в моделях ИИ, особенно генеративного ИИ.

Зачем AI Vietnam нужен полный набор стандартов оценки уровня владения вьетнамским языком?

Бурный рост ChatGPT породил новую расу: генеративный ИИ. По статистике, с момента появления ChatGPT в мире насчитывается около 16 000 моделей, аналогичных ChatGPT.

Вьетнам не выпадает из этой тенденции: существует множество исследовательских групп разного масштаба и потенциала, которые также хотят экспериментировать с генеративным ИИ, используя вьетнамский язык. Это привело к необходимости создания набора для оценки уровня владения вьетнамским языком для этих моделей ИИ, чтобы измерить уровень знаний и мышления на вьетнамском языке.

В современных условиях большинству исследовательских групп LLM во Вьетнаме приходится разрабатывать собственный инструментарий оценки с собственными стандартами для своих моделей. Это внутренние обзоры, пока не опубликованные. Оценочный набор Zalo AI ориентирован на общие потребности, может использоваться в качестве общего стандарта для моделей LLM и предоставляется сообществу ИИ. Это позволяет небольшим исследовательским группам получать доступ к комплексным наборам данных оценки и сравнивать результаты друг с другом. На основе этого создайте более полную модель мотивации.

Мотивация вьетнамского ИИ присоединиться к мировой волне генеративного ИИ

В ноябре 2023 года Zalo AI официально анонсировала стандарты оценки уровня владения вьетнамским языком VMLU. Это набор стандартов, исследованных и разработанных инженерами Zalo AI в сотрудничестве с JAIST для оценки способности понимать и применять вьетнамский язык в моделях ИИ, особенно генеративного ИИ.

Рождение VMLU побудило отдельных лиц, стартапы и небольшие исследовательские группы разрабатывать новые вьетнамские модели ИИ. Это облегчает проведение новых исследований, закладывает основу для измерения точности и улучшения результатов базовых моделей, помогая совершенствовать процесс разработки приложений ИИ на вьетнамском языке, созданных вьетнамцами для обслуживания вьетнамского народа.

Это также один из важных факторов, способствующих ускорению развития генеративного ИИ во Вьетнаме и достижению им темпов развития ИИ в мире.

Каковы стандарты оценки уровня владения вьетнамским языком?

Соответственно, это набор стандартов оценки вьетнамского языка, которые являются многогранными, многоуровневыми и отвечают самым разнообразным потребностям вьетнамского рынка исследований и разработок генеративного ИИ, уделяя особое внимание двум основным частям: данным (тестовый набор данных) и набору стандартов оценки как основе для тестирования моделей ИИ, применяющих вьетнамский язык.

В частности, набор данных включает 10 880 вопросов с несколькими вариантами ответов, охватывающих 58 различных тем. Каждая тема содержит около 200 вопросов и распределена по 4 областям, включая: STEM, социальные науки, гуманитарные науки и широкую категорию «Расширенные». С этим блоком данных VMLU имеет сложную стратификацию с 4 уровнями: начальное, среднее, старшая школа и профессиональное — для университетов и аспирантуры. После этого инструментарий помогает эффективно оценивать уровень владения вьетнамским языком моделями ИИ как с точки зрения базовых знаний, так и с точки зрения решения сложных задач.

Кроме того, чтобы помочь исследовательским группам легко оценить возможности своих вьетнамских моделей ИИ, команда инженеров ИИ Zalo разработала инструкции, которые позволят группам быстро и просто их использовать.

Внесите свой вклад в развитие вьетнамского сообщества искусственного интеллекта

Набор стандартов VMLU был создан как исследовательский продукт, направленный на содействие развитию вьетнамского сообщества исследователей искусственного интеллекта в частности и сообщества информационных технологий в целом, без взимания платы с пользователей, исследовательских групп или предприятий.

Ранее Zalo AI реализовала, развернула и организовала ряд конкурсов и программ для вьетнамского сообщества ИИ, таких как: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Эти мероприятия не только создают игровую площадку для вьетнамского сообщества ИИ, но и поощряют применение ИИ в жизни, решают насущные социальные проблемы и служат нуждам миллионов вьетнамцев.

Доктор Чау Тхань Дук, руководитель исследовательского отдела Zalo AI - преподаватель Университета естественных наук, Национального университета города Хошимин, подтвердил: «Zalo AI всегда стремится вносить вклад во вьетнамское сообщество AI, создавая мотивацию для развития вьетнамского AI. Оттуда мы ожидаем все больше и больше продуктов AI от вьетнамцев для вьетнамцев».

Источник