Ученые из Cornell Tech разработали новый вид вредоносного ИИ-червя, который способен автоматически распространяться между генеративными ИИ-агентами. Это открывает возможности для потенциальной кражи данных и рассылки спама. Исследование указывает на новый вид кибератак, которые могут быть осуществлены в связанных, автономных экосистемах искусственного интеллекта.
Червь, названный Morris II в честь оригинального компьютерного червя Morris, был разработан Беном Насси, Ставом Коэном и Роном Биттоном. Эксперименты показали, как такой червь может использоваться для атак на почтовые помощники на базе ИИ с целью кражи данных из электронных писем и рассылки спама, нарушая при этом некоторые меры безопасности в системах ChatGPT и Gemini.
Особое внимание в исследовании уделено "враждебным самовоспроизводящимся запросам", которые заставляют ИИ-модель в своем ответе генерировать новый запрос. Этот метод напоминает традиционные атаки типа SQL Injection и Buffer Overflow, говорят исследователи.
Для демонстрации возможностей червя исследователи создали почтовую систему, которая может отправлять и получать сообщения с использованием генеративного ИИ, подключаясь к ChatGPT, Gemini и открытой LLM под названием LLaVA. Специалисты обнаружили два способа эксплуатации системы: с использованием текстового самовоспроизводящегося запроса и встраивая самовоспроизводящийся запрос в изображение.
Исследование подчеркивает, что генеративные ИИ-черви являются новым риском безопасности, который должен беспокоить стартапы, разработчиков и технологические компании. Хотя генеративные ИИ-черви еще не обнаружены в "дикой природе", эксперты в области безопасности считают, что риск их появления в будущем достаточно велик.
Исследователи сообщили о своих находках в Google и OpenAI, подчеркивая необходимость разработки более надежных систем безопасности и предостерегая разработчиков от использования вредоносного ввода. Google отказалось комментировать исследование, в то время как представитель OpenAI отметил работу над усилением устойчивости своих систем к подобным атакам.
Некоторые способы защиты от потенциальных ИИ-червей уже существуют, например, использование традиционных подходов к безопасности и обеспечение участия человека в процессе принятия решений ИИ-агентами. Эксперты подчеркивают важность разработки безопасных приложений и мониторинга для предотвращения подобных угроз.
Червь, названный Morris II в честь оригинального компьютерного червя Morris, был разработан Беном Насси, Ставом Коэном и Роном Биттоном. Эксперименты показали, как такой червь может использоваться для атак на почтовые помощники на базе ИИ с целью кражи данных из электронных писем и рассылки спама, нарушая при этом некоторые меры безопасности в системах ChatGPT и Gemini.
Особое внимание в исследовании уделено "враждебным самовоспроизводящимся запросам", которые заставляют ИИ-модель в своем ответе генерировать новый запрос. Этот метод напоминает традиционные атаки типа SQL Injection и Buffer Overflow, говорят исследователи.
Для демонстрации возможностей червя исследователи создали почтовую систему, которая может отправлять и получать сообщения с использованием генеративного ИИ, подключаясь к ChatGPT, Gemini и открытой LLM под названием LLaVA. Специалисты обнаружили два способа эксплуатации системы: с использованием текстового самовоспроизводящегося запроса и встраивая самовоспроизводящийся запрос в изображение.
Исследование подчеркивает, что генеративные ИИ-черви являются новым риском безопасности, который должен беспокоить стартапы, разработчиков и технологические компании. Хотя генеративные ИИ-черви еще не обнаружены в "дикой природе", эксперты в области безопасности считают, что риск их появления в будущем достаточно велик.
Исследователи сообщили о своих находках в Google и OpenAI, подчеркивая необходимость разработки более надежных систем безопасности и предостерегая разработчиков от использования вредоносного ввода. Google отказалось комментировать исследование, в то время как представитель OpenAI отметил работу над усилением устойчивости своих систем к подобным атакам.
Некоторые способы защиты от потенциальных ИИ-червей уже существуют, например, использование традиционных подходов к безопасности и обеспечение участия человека в процессе принятия решений ИИ-агентами. Эксперты подчеркивают важность разработки безопасных приложений и мониторинга для предотвращения подобных угроз.
