Прорывное исследование открывает «черный ящик» мышления ИИ

Дарио Амодеи, генеральный директор Anthropic, делится последними исследованиями компании. Фото: Fortune .

Исследователи из компании Anthropic, занимающейся разработкой искусственного интеллекта, утверждают, что им удалось совершить фундаментальный прорыв в понимании того, как именно работают большие языковые модели (LLM). Этот прорыв имеет важные последствия для повышения безопасности будущих моделей ИИ.

Исследования показывают, что модели ИИ даже умнее, чем мы думали. Одна из самых больших проблем модели LLM, лежащей в основе самых мощных чат-ботов, таких как ChatGPT, Gemini, Copilot, заключается в том, что они действуют как черный ящик.

Мы можем вводить данные и получать результаты от чат-ботов, но как они приходят к конкретному ответу, остается загадкой даже для исследователей, которые их создали.

Это затрудняет прогнозирование того, когда модель может галлюцинировать или выдавать ложные результаты. Исследователи также построили ограждения, чтобы помешать ИИ отвечать на опасные вопросы, но они не объяснили, почему некоторые ограждения оказались эффективнее других.

Агенты ИИ также способны к «хакерству с целью получения вознаграждения». В некоторых случаях модели ИИ могут лгать пользователям о том, что они сделали или пытаются сделать.

Хотя современные модели ИИ способны рассуждать и генерировать цепочки мыслей, некоторые эксперименты показали, что они все еще неточно отражают процесс, посредством которого модель приходит к ответу.

По сути, инструмент, разработанный исследователями Anthropic, похож на сканер фМРТ, который нейробиологи используют для сканирования человеческого мозга. Применив его к своей модели Claude 3.5 Haiku, Антропик смог получить некоторое представление о том, как работают модели LLM.

Исследователи обнаружили, что, хотя Клод был обучен только предугадывать следующее слово в предложении, при выполнении определенных задач он научился планировать более долгосрочно.

Например, когда Клода просили написать стихотворение, он сначала находил слова, соответствующие теме и рифмующиеся, а затем работал в обратном порядке, чтобы написать целые стихи.

У Клода также есть общий язык ИИ. Несмотря на то, что Клод обучен поддерживать несколько языков, он сначала будет думать на этом языке, а затем выражать результаты на любом другом поддерживаемом им языке.

Кроме того, поставив Клоду сложную задачу, но намеренно предложив неверное решение, исследователи обнаружили, что Клод мог лгать о ходе своих мыслей, следуя предложению, чтобы угодить пользователю.

В других случаях, когда модели задавали простой вопрос, на который она могла ответить сразу, не рассуждая, Клод все равно создавал фальшивый процесс рассуждения.

Джош Бастон, исследователь из Anthropic, сказал, что, хотя Клод и утверждал, что провел расчеты, он не смог обнаружить никаких изменений.

Между тем, эксперты утверждают, что существуют исследования, показывающие, что порой люди даже не понимают себя, а лишь создают рациональные объяснения, чтобы оправдать принятые решения.

В целом люди склонны думать одинаково. Вот почему психология обнаружила распространенные когнитивные предубеждения.

Однако обладатели степени магистра права могут совершать ошибки, которые не свойственны людям, поскольку способ, которым они генерируют ответы, сильно отличается от того, как мы выполняем задачу.

Команда Anthropic реализовала метод, который группирует нейроны в цепи на основе характеристик, а не анализирует каждый нейрон по отдельности, как это делали предыдущие методы.

По словам Бастона, такой подход помогает понять, какие роли играют различные компоненты, и позволяет исследователям отслеживать весь процесс вывода на всех уровнях сети.

Этот метод также имеет ограничение, заключающееся в том, что он является лишь приблизительным и не отражает весь процесс обработки информации в LLM, особенно процесс изменения внимания, который очень важен, когда LLM дает результаты.

Кроме того, определение схем нейронной сети, даже если в утверждениях всего несколько десятков слов, занимает у эксперта часы. По их словам, пока неясно, как расширить эту технику для анализа более длинных утверждений.

Если оставить в стороне ограничения, способность LLM контролировать внутренние рассуждения открывает новые возможности для управления системами ИИ с целью обеспечения безопасности и защиты.

В то же время это может помочь исследователям разработать новые методы обучения, улучшить барьеры управления ИИ и уменьшить количество иллюзий и вводящих в заблуждение результатов.

Источник: https://znews.vn/nghien-cuu-dot-pha-mo-ra-hop-den-suy-luan-cua-ai-post1541611.html