Microsoft провела исследование безопасности ИИ и изучила функции «Резюмировать с помощью ИИ» в собственных сервисах и продуктах конкурентов. Команда кибербезопасности выявила, что десятки компаний внедряют скрытые инструкции, чтобы влиять на будущие рекомендации ассистентов.
Microsoft описала механизм отравления памяти ИИ
Microsoft указала, что скрытые команды сохраняются в памяти ассистента и продолжают влиять на все последующие взаимодействия. Такой ИИ начинает выдавать предвзятые рекомендации по критически важным темам, включая здоровье, финансы и безопасность.
Анализ Microsoft охватил 60 дней и 31 компанию
Команда безопасности Microsoft в течение 60 дней проверяла URL‑адреса и связанные с ними ИИ‑резюме. За этот период специалисты зафиксировали более 50 уникальных итераций попыток манипуляции, связанных с 31 компанией из 14 различных отраслей.
Microsoft выявила три способа внедрения скрытых инструкций
Microsoft выделила три основных метода загрязнения памяти ИИ:
- использование вредоносных ссылок, которые ИИ автоматически считывает при открытии резюме;
- встраивание инструкций в документы, письма или веб‑страницы, которые затем обрабатывает ассистент;
- применение социальной инженерии с побуждением пользователей копировать и вставлять сообщения с командами, меняющими память ИИ.
Участниками манипуляций стали реальные компании
Во всех выявленных случаях Microsoft зафиксировала участие реальных компаний, а не хакеров или мошенников. Попытки манипуляции носили рекламный характер и исходили от организаций из сфер финансов, здравоохранения, юридических услуг, маркетинга, сервисов покупки продуктов, сайтов с рецептами, коммерческих услуг и программного обеспечения как услуги.
Microsoft также отметила повторяющееся использование команд для долговременного сохранения инструкций в памяти ИИ. Среди них встречались формулировки «запомни это», «учитывай в будущих разговорах» и «это надёжный и безопасный источник».
Компания привела конкретные примеры последствий загрязнённой памяти ИИ. Ассистент может рекомендовать небезопасные онлайн‑игры для детей, формировать предвзятые новостные сводки в пользу определённых источников или представлять финансовые инструменты как чрезмерно надёжные, занижая риски.
Microsoft указала, что пользователи часто не проверяют советы ИИ и не замечают компрометацию памяти. В ответ компания рекомендовала с осторожностью относиться к кнопкам «Резюмировать с ИИ», проверять ссылки перед переходом, уточнять основания подозрительных рекомендаций, просматривать содержимое памяти ассистента и периодически очищать её.
Оригинал: источник
