OpenAI представила GPT-Red — автоматизированную систему на базе ИИ, предназначенную для выявления уязвимостей в языковых моделях до их запуска. Этот инструмент был использован для обучения GPT-5.6 и помог существенно снизить количество ошибок при атаках с использованием prompt injection — одной из самых сложных уязвимостей.
GPT-Red работает по принципу red teaming из кибербезопасности: система намеренно пытается «взломать» модель, выявляя слабые места перед тем, как ими смогут воспользоваться злоумышленники. В ходе обучения с применением метода self-play reinforcement learning GPT-Red генерировал всё более изощрённые атаки, а защитные модели учились эффективно им противостоять.
OpenAI отмечает, что GPT-Red показал впечатляющие результаты: в 84% тестов он находил уязвимости, тогда как люди-тестировщики справлялись всего в 13% случаев. При этом выявленные атаки сразу использовались для улучшения защиты GPT-5.6. Например, благодаря системе удалось обнаружить и устранить уязвимости, позволявшие манипулировать автономным торговым агентом.
Этот проект расширяет усилия OpenAI по обеспечению безопасности после запуска ChatGPT, включая сотрудничество с внешними специалистами из OpenAI Red Teaming Network. GPT-Red автоматизирует многие процессы поиска уязвимостей и позволяет находить ошибки в масштабах, недоступных человеку.
OpenAI подчеркнула, что пока GPT-Red останется внутренним инструментом из-за встроенного атакующего функционала. Компания надеется, что такой подход поможет сделать будущие модели более надёжными и безопасными, создавая цикл постоянного улучшения защитных возможностей.