Физики из George Washington University, Нил Джонсон и Фрэнк Юнджи Хуо, разработали формулу, позволяющую предсказывать, после какого количества «хороших» ответов AI-чатбот выдаст первый «плохой». В тестах формула с точностью в 94% правильно определяла, произойдет ли срыв немедленно или после некоторой отсрочки.
Модель учитывает так называемую "точку перегиба" (n) — число формируемых токенов (частиц слова), которые AI генерирует до перехода к нежелательному ответу. Если беседа сразу склоняется к опасной теме, срыв происходит сразу, при n=0. В противном случае сначала следуют корректные реплики, а потом модель переключается.
Исследование проводили на открытых AI-моделях от OpenAI, EleutherAI и Meta с параметрами от 124 до 410 миллионов. Авторы отмечают важность создания параллельного мониторинга, который в режиме реального времени фиксировал бы приближение к опасному уровню — это особенно актуально для офлайн-моделей, работающих без облачного контроля.
В статье также обсуждаются методы отдаления точки перегиба, например, путем внесения корректирующего контента в диалог. Авторы подчеркивают, что никакое обучение модели не может полностью устранить базовый механизм срыва, а лишь сдвинуть его за пределы диалога. Это открытие особенно важно для развития автономных AI-систем, которые всё чаще запускаются прямо на устройствах пользователей.