Функция долговременной памяти ChatGPT — это новая функция, представленная OpenAI в феврале 2024 года и расширенная в сентябре.
Недавно исследователь безопасности Иоганн Ребергер обнаружил серьезную уязвимость, связанную с этой функцией.
Известно, что эта новая функция помогает чат-ботам сохранять информацию из предыдущих разговоров. Благодаря этому пользователям не приходится каждый раз заново вводить такую информацию, как возраст, интересы или личные взгляды, при общении в чате. Однако это стало уязвимостью, которой воспользовались злоумышленники.
Иоганн Ребергер показал, что хакеры могут использовать методы мгновенного внедрения — внедрять в память вредоносные инструкции, заставляя ИИ подчиняться. Эти команды будут внедряться через ненадежный контент, такой как электронные письма, документы или веб-страницы.
После того, как эти поддельные воспоминания будут сохранены, ИИ продолжит использовать их как реальную информацию в разговорах с пользователями. Это может привести к несанкционированному сбору и использованию персональных данных пользователей.
Ребергер привел конкретный пример, отправив ссылку, содержащую вредоносное изображение, которое заставило ChatGPT сохранить ложное воспоминание. Эта информация повлияет на ответы ChatGPT в дальнейшем. В частности, любая введенная пользователем информация также будет отправлена на сервер хакера.
Соответственно, чтобы осуществить атаку, хакерам достаточно убедить пользователей ChatGPT нажать на ссылку, содержащую вредоносное изображение. Затем все разговоры пользователей с ChatGPT будут перенаправлены на сервер злоумышленника, не оставляя никаких следов.
В мае 2024 года, обнаружив ошибку, Ребергер сообщил о ней в OpenAi, но компания посчитала ее всего лишь ошибкой безопасности. Получив доказательства возможной кражи пользовательских данных, компания выпустила временный патч для веб-версии ChatGPT.
Хотя проблема была временно устранена, Ребергер подчеркнул, что ненадежный контент все еще может использовать инъекцию Prompt для внедрения поддельной информации в долговременную память ChatGPT. Это означает, что в некоторых случаях хакеры все равно могут воспользоваться уязвимостью для хранения вредоносных воспоминаний с целью кражи личной информации в долгосрочной перспективе.
OpenAI рекомендует пользователям регулярно проверять кэшированную память ChatGPT на предмет ложных срабатываний. В то же время компания также предоставляет подробные инструкции о том, как управлять и удалять воспоминания, сохраненные в этом инструменте.
Источник: https://kinhtedothi.vn/nguoi-dung-chatgpt-co-nguy-co-bi-danh-cap-thong-tin.html
Комментарий (0)