Компания Google рассказала о внедрении различных методах защиты генеративного искусственного интеллекта, чтобы снизить уязвимость к новым векторам атак, например, косвенных инъекций с подсказками. Скрытые инструкции включают в себя внешние источники данных (электронные письма, документы или приглашения на встречи) и выдают конфиденциальную информацию.
Многоуровневая защита необходима для усложнения проведения атаки, увеличивая затраты и сложность её реализации. Модель обладает дополнительными возможностями благодаря ряду встроенных мер защиты:
1. Классификация контента и фильтр вредоносных инструкций для создания безопасного ответа.
2. Игнорирование вредоносных инструкций благодаря специальным маркерам, которые вставляются в ненадежные данные.
3. Удаление потенциально опасных ссылок и изображений для предотвращения эксплуатации уязвимости, например, EchoLeak.
4. Перед выполнением рискованных операций система запрашивает подтверждение у пользователя.
5. Уведомления предупреждают о запросах на ввод данных.
Специалисты Google подчеркнули, что преступники стали чаще применять адаптивные атаки, целенаправленно созданные для улучшения и изменения посредством автоматизированного «красного» тестирования (ART). Это позволяет обходить защитные механизмы и делает стандартные методы безопасности бесполезными.
Google DeepMind ранее заявило, что непрямое внедрение инструкций создает серьезные риски для кибербезопасности, ведь искусственному интеллекту бывает сложно отличить подлинные запросы пользователей от вредоносных команд, внедренных в обрабатываемые данные.
Многоуровневая защита необходима для усложнения проведения атаки, увеличивая затраты и сложность её реализации. Модель обладает дополнительными возможностями благодаря ряду встроенных мер защиты:
1. Классификация контента и фильтр вредоносных инструкций для создания безопасного ответа.
2. Игнорирование вредоносных инструкций благодаря специальным маркерам, которые вставляются в ненадежные данные.
3. Удаление потенциально опасных ссылок и изображений для предотвращения эксплуатации уязвимости, например, EchoLeak.
4. Перед выполнением рискованных операций система запрашивает подтверждение у пользователя.
5. Уведомления предупреждают о запросах на ввод данных.
Специалисты Google подчеркнули, что преступники стали чаще применять адаптивные атаки, целенаправленно созданные для улучшения и изменения посредством автоматизированного «красного» тестирования (ART). Это позволяет обходить защитные механизмы и делает стандартные методы безопасности бесполезными.
Google DeepMind ранее заявило, что непрямое внедрение инструкций создает серьезные риски для кибербезопасности, ведь искусственному интеллекту бывает сложно отличить подлинные запросы пользователей от вредоносных команд, внедренных в обрабатываемые данные.