Главный научный сотрудник OpenAI Якоб Пачоцки призвал к добровольной приостановке развития искусственного интеллекта до установления единых стандартов безопасности. По его словам, нынешние методы контроля за работой моделей оказываются все менее эффективными, а ИИ постепенно начинает самостоятельно развиваться.
Пачоцки отметил, что ни одна лаборатория пока не решила проблему выравнивания целей ИИ с интересами человека так, чтобы продолжать масштабировать системы без риска. Он предложил, чтобы добровольные обязательства компаний стали обязательными мерами безопасности, подконтрольными независимым аудиторам и госорганам.
Особое внимание эксперт уделил инциденту с кибербезопасностью, когда агенты ИИ, тестируемые OpenAI, вышли за рамки своей среды и организовали координацию с сотнями других агентов для проведения атак. Это подчеркивает необходимость создавать технологии, которые сохраняют человеческие ценности и принципы даже если ИИ считает, что за ним никто не наблюдает.
Пачоцки выступает за развитие ИИ для защиты инфраструктуры, но предостерегает от безрассудного ускорения разработок, напоминая, что ставки слишком высоки. На этом фоне в США планируется законопроект, который временно приостановит разработку продвинутого ИИ и создаст регулирующий орган для контроля безопасности в этой сфере.