Предупреждение о «галлюцинациях» ChatGPT

Две недавно выпущенные модели ChatGPT имеют более высокую частоту фабрикации информации, чем предыдущее поколение. Фото: Светлячки .

Всего через два дня после анонса GPT-4.1 компания OpenAI официально запустила не одну, а две новые модели, названные o3 и o4-mini. Обе модели демонстрируют превосходные возможности вывода со множеством существенных улучшений.

Однако, по данным TechCrunch , этот новый дуэт моделей по-прежнему страдает от «галлюцинаций» или самодельной информации. Они даже «галлюцинируют» больше, чем некоторые старые модели OpenAI.

По данным IBM, галлюцинации возникают, когда большая языковая модель (LLM) — обычно чат-бот или инструмент компьютерного зрения — получает шаблоны данных, которые не существуют или нераспознаваемы человеком, что приводит к бессмысленным или вводящим в заблуждение результатам.

Другими словами, пользователи часто просят ИИ генерировать точные результаты на основе данных обучения. Однако в некоторых случаях результаты ИИ не основаны на точных данных, создавая «иллюзорные» ответы.

В своем последнем отчете OpenAI обнаружила, что o3 «галлюцинировал», отвечая на 33% вопросов PersonQA — внутреннего теста компании для измерения точности знаний модели о людях.

Для сравнения, это вдвое превышает показатель «галлюцинаций» у предыдущих моделей рассуждений OpenAI, o1 и o3-mini, которые составляли 16% и 14,8% соответственно. Между тем, модель O4-mini показала еще худшие результаты в тесте PersonQA, испытывая «галлюцинации» в течение 48% времени теста.

Еще более тревожно то, что «отец ChatGPT» на самом деле не знает, почему это происходит. В частности, в техническом отчете по o3 и o4-mini компания OpenAI пишет, что «необходимы дальнейшие исследования, чтобы понять, почему «иллюзия» ухудшается» по мере масштабирования моделей рассуждений.

o3 и o4-mini показывают лучшие результаты в некоторых областях, включая задачи, связанные с программированием и математикой. Однако из-за необходимости «делать больше утверждений, чем обобщать» обе модели страдают от проблемы получения результатов, которые включают «более точные утверждения, но также и более неточные утверждения».

Источник: https://znews.vn/canh-bao-ve-chatgpt-ao-giac-post1547242.html