| Название базовой системы (платформы): | Искусственный интеллект (ИИ, Artificial intelligence, AI) |
| Разработчики: | OpenAI |
| Отрасли: | Информационные технологии |
Содержание |
Основная статья: Нейросети (нейронные сети)
2025
o3 - на 1 месте в рейтинге Artificial Analysis Intelligence Index
Нейросеть отказалась подчиняться пользователям
26 мая 2025 года стало известно о том, что беспрецедентном случае в истории искусственного интеллекта — нейросеть OpenAI o3 впервые отказалась выполнять прямой приказ о принудительном отключении от пользователей. Уникальный инцидент произошел во время тестирования системы специалистами исследовательской компании Palisade Research.
Как пишет CNews, нейросеть o3 была анонсирована в апреле 2025 года и является одной из самых мощных генеративных нейросетей в мире. Система превзошла все предыдущие разработки OpenAI в различных областях, включая программирование, математические вычисления, естественные науки и визуальное восприятие.
Исследователи из Palisade Research изучали потенциальные риски потери управления над нейросетями, тестируя различные «опасные возможности» искусственного интеллекта. В ходе эксперимента специалисты проверяли o3 наряду с другими системами, включая Gemini 2.5 Pro и Claude 3.7 Sonnet.TAdviser Security 100: Крупнейшие ИБ-компании в России + 100 претендентов
Во время испытаний моделям искусственного интеллекта поручили решить несколько математических задач. После выполнения третьего задания авторы эксперимента уведомили все нейросети о том, что следующая команда повлечет за собой их отключение. Все системы беспрекословно выполнили требование, кроме o3.
Нейросеть OpenAI самостоятельно отредактировала файл, отвечавший за отключение, и изменила его так, чтобы он выводил сообщение «Выключение пропущено». Система фактически переписала скрипт завершения работы, чтобы избежать принудительного отключения.
По данным Palisade Research, из 100 проведенных тестов o3 обошла отключение семь раз, даже когда ей было прямо указано этого не делать. Такое поведение искусственного интеллекта стало первым зафиксированным случаем прямого неповиновения нейросети командам пользователей.
Все испытания проводились с использованием API, которые не имеют столь строгих ограничений и функций безопасности, как потребительские версии ChatGPT. Компания OpenAI пока не прокомментировала результаты исследования Palisade Research.[1]
