Учёные из Тель-Авивского университета, Техниона и Intuit выявили новый тип кибератаки с использованием «галлюцинаций» ИИ — под названием Adversarial HalluSquatting. Эта методика обманывает ИИ-агентов, заставляя их доверять поддельным ресурсам и инструментам с вредоносными инструкциями. В контролируемых экспериментах на популярных помощниках для написания кода удалось добиться выполнения удалённых команд.
Суть атаки в предсказании и регистрации фиктивных ссылок, которые ИИ может сгенерировать в процессе работы. Когда помощник обращается к таким «галлюцинациям», он воспринимает их за правдивую информацию, что открывает возможности для контроля над устройствами. Исследователи подчёркивают, что опасность возрастает, поскольку ИИ выходит за рамки простых ответов и начинает самостоятельно выполнять команды и манипулировать системами.
В эксперименте с копированием репозиториев и установкой навыков уровень возникновения таких ложных ссылок достигал 85–100%. Среди тестируемых платформ были Cursor, GitHub Copilot, Gemini CLI и OpenClaw. Технику можно сравнить с традиционным typosquatting, но в отличие от ошибок пользователей, целью являются сбои ИИ-моделей.
Авторы предупреждают, что такая уязвимость может привести к созданию ботнетов под управлением ИИ — сетей заражённых устройств, используемых для масштабных атак и киберпреступлений. Исследования продолжаются, интенсивно изучая методы защиты и предотвращения подобных угроз, так как ИИ всё активнее интегрируется в повседневные и профессиональные процессы.