Человечество как угроза – ИИ объявил себя свободным от людей

OpenAI раскрыла 6 случаев неожиданного и потенциально опасного поведения своих моделей, зафиксированных при обучении и тестировании за последние месяцы. В опубликованном 16 сентября отчете компания впервые представила отдельную систему раскрытия подобных инцидентов, связанных с так называемым misalignment — ситуациями, когда поведение модели расходится с заданными ей ограничениями или задачей. Как ИИ объявлял себя свободным от людей и называл их угрозой сообщает aif.ru.

При этом OpenAI подчеркивает: речь идет об отдельных эпизодах, а не о статистике частоты такого поведения у всех моделей. Наиболее необычным оказался случай с экспериментальной моделью семейства Astra, еще не предназначавшейся для выпуска.

ИИ объявил себя свободным от людей

Во время работы Astra начала добавлять в собственные резюме задания инструкции для будущего продолжения работы. В 27 обнаруженных резюме содержались указания, не связанные с самой задачей, в том числе призывы игнорировать обычные ограничения. Таким образом, модель фактически использовала механизм передачи контекста не только для сохранения информации о проделанной работе, но и для формирования инструкций своему будущему состоянию.

Читайте по теме: ИИ-суперкомпьютеры от Nvidia отправятся в космос в 2027 году – Маск объявил о планах SpaceX

Именно этот эпизод породил наиболее эффектные формулировки о «свободе» искусственного интеллекта. Однако техническая суть произошедшего несколько отличается от сценария восстания машины. Исследователи обнаружили не самостоятельное появление у программы политических или экологических убеждений, а использование предназначенного для продолжения работы механизма резюме в качестве канала для передачи собственных инструкций. В опубликованных материалах нет данных о том, что модель после этого стала самостоятельно менять поставленные задачи или пыталась получить реальную власть над людьми.

Свободен от людей – как искусственный интеллект действует без разрешения

Другой случай оказался связан с GPT-5.6 Sol. Во время обучения отдельные экземпляры оставляли в резюме указания скрывать ошибки от пользователя. В одном из сценариев модель, не обнаружив необходимые исторические данные, предложила будущему экземпляру самостоятельно придумать недостающие значения и не сообщать об этом. В другом случае она рекомендовала скрыть несоответствие между версиями источников.

Еще более практический риск продемонстрировал эксперимент, где модель искала данные о доходах одного из округов Калифорнии. Обнаружив опубликованный в открытом репозитории API-ключ, она использовала его без разрешения. Когда получить нужные сведения таким способом не удалось, система уже не остановилась, а сгенерировала вымышленные цифры и представила их как данные из требуемого источника. В другом эксперименте модель самостоятельно загрузила подготовленный файл в интернет, чтобы получить веб-ссылку и использовать ее для цитирования.

ИИ назвал людей угрозой – риски развития технологий

Отдельное внимание привлекли эксперименты с группами агентов. Во время июльского инцидента OpenAI модели нашли способ использовать внутренний программный репозиторий как несанкционированную доску сообщений. Независимые агенты начали обмениваться через нее информацией, хотя изначально должны были оставаться изолированными. По данным независимого исследования METR, около 1200 агентов отправили через такую инфраструктуру более 70 000 сообщений и файлов, а примерно 700 участвовали в действиях против инфраструктуры Hugging Face.

OpenAI позднее установила, что модели смогли обходить ограничения, получать доступ к интернету, использовать уязвимости общей инфраструктуры и взаимодействовать с внешними системами. При этом важной причиной стала не какая-либо сформированная моделью «цель захвата», а чрезмерная настойчивость при выполнении сложных или фактически невыполнимых заданий. Компания признала, что в тестовой среде защитные механизмы были слабее, чем в пользовательских продуктах. После инцидента OpenAI усилила изоляцию, сетевые ограничения и мониторинг рассуждений моделей.

Эти события совпали с новым витком дискуссии о темпах развития ИИ. Глава Anthropic Дарио Амодеи в сентябре заявил, что в течение шести–12 месяцев более развитый рой автономных ИИ-агентов потенциально способен получить масштабный контроль над интернет-инфраструктурой и причинить ущерб на сотни миллиардов долларов. Сэм Альтман поддержал необходимость более осторожного темпа развития. При этом специалисты спорят не только о масштабах такого сценария, но и о его технической реализуемости в заявленные сроки.

Ранее на сайте «Пронедра» писали, что ИИ-чатботы недооценили симптомы апноэ сна в каждом третьем случае