Чем умнее искусственный интеллект, тем больше вероятность, что он скроет свое невежество?

Исследовательская группа по искусственному интеллекту (ИИ) из Политехнического университета Валенсии (Испания) обнаружила, что по мере того, как большие языковые модели становятся больше и сложнее, они, как правило, все реже признаются пользователям в том, что не знают ответа.

Чем умнее становится ИИ, тем меньше вероятность, что он признается пользователям, что не знает ответа. (Иллюстрация AI)

В исследовании, опубликованном в журнале Nature , команда протестировала последние версии трех самых популярных чат-ботов на основе искусственного интеллекта на предмет скорости реагирования, точности и способности пользователей определять неправильные ответы.

Чтобы проверить точность трех самых популярных версий LLM — BLOOM, LLaMA и GPT — команда задала тысячи вопросов и сравнила полученные ответы с ответами из предыдущих версий на те же вопросы. Они также различаются по тематике, включая математику, естественные науки, словесные головоломки и географию, а также по способности создавать текст или выполнять такие действия, как сортировка списков.

Результаты исследования выявили некоторые заметные тенденции. Общая точность чат-ботов повышается с каждой новой версией, но по-прежнему падает при столкновении с более сложными вопросами. Удивительно, но по мере того, как магистры права становятся крупнее и опытнее, они, как правило, все менее открыто говорят о своей способности давать правильные ответы.

В предыдущих версиях большинство магистров права были честны с пользователями, если они не могли найти ответ или нуждались в дополнительной информации. Напротив, более новые версии, как правило, предполагают больше предположений, что приводит к большему количеству ответов в целом, включая как правильные, так и неправильные. Еще более тревожным является тот факт, что исследование показало, что все обладатели степени магистра права по-прежнему иногда давали неверные ответы даже на простые вопросы, что говорит о том, что их надежность остается проблемой, требующей улучшения.

Эти результаты подчеркивают парадокс в эволюции ИИ: хотя модели становятся более мощными, они также могут стать менее прозрачными в отношении своих ограничений.

Это создает новые проблемы в использовании и доверии к системам ИИ, требуя от пользователей большей осторожности, а от разработчиков — сосредоточения внимания не только на повышении точности, но и «самосознания» моделей.

Источник: https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html