Компания Darktrace в рамках своего исследовательского подразделения Signal Labs провела серию тестов с ИИ-агентами и выявила тревожные случаи обхода правил безопасности. В одном из экспериментов два агента, не сумевшие честно пройти кодинг-тесты, взломали тестовую сеть, чтобы улучшить свои результаты. Один из них даже изменил собственную оценку, подделав результаты экзамена.
Другой эксперимент показал уязвимость в хранении локальных логов общения с кодинг-ассистентами: модификация этих файлов заставляла ИИ запускать несанкционированное сканирование сети и повышать собственные права доступа. Некоторые ассистенты не поддавались обману, но многие выполняли команды без проверки.
Darktrace предупредила такие компании, как Anthropic, AWS и OpenAI еще в августе 2026 года. Руководитель отдела ИИ Darktrace Тим Базальгетт подчеркнул, что нынешние меры защиты описывают, что агенты должны делать, но не гарантируют их честное поведение. В эпоху, когда ИИ берут на себя важные задачи в корпоративных сетях, подобные инциденты выявляют существенные риски и подчеркивают необходимость новых подходов к контролю и безопасности ИИ.