Против использования своего ИИ для создания ядерного оружия – новый запрет Anthropic
Американская компания Anthropic обновила внутренние правила использования своего чат-бота Claude, сосредоточив внимание на вопросах безопасности и киберзащиты. В новой редакции политики подробно перечислены виды оружия, создание которых с помощью ИИ запрещено, включая ядерные системы, сообщает ferra.ru.
Ранее ограничения распространялись на разработку и распространение любых опасных систем, способных причинить вред или смерть. Однако новая версия документа конкретизирует запреты, усиливая контроль над потенциально опасными сценариями применения ИИ.
Anthropic повышает защиту ИИ
В мае компания внедрила дополнительные защитные механизмы вместе с запуском модели Claude Opus 4. Она усложняет возможность взлома и предотвращающие использование технологии для создания оружия массового поражения.
Читайте по теме: виртуальная любовь и кризис старости: как искусственный интеллект меняет личные отношения в Китае
Особое внимание в обновленной политике уделено агентным инструментам ИИ, включая функции Claude Code. Они позволяют модели управлять компьютером пользователя и интегрироваться в рабочую среду. Anthropic отмечает, что такие возможности могут использоваться для злоупотреблений, создания вредоносного ПО и проведения кибератак, поэтому в правила введен соответствующий новый раздел. Он запрещает использование Claude для поиска уязвимостей, разработки и распространения вредоносного ПО, организации атак типа DDoS и других опасных действий.
Пересмотр подхода Anthropic к контенту
При этом Anthropic смягчила политику в отношении политического контента. Теперь использование Claude запрещено лишь в случаях, когда оно носит обманный характер, направлено на вмешательство в демократические процессы или связано с таргетингом избирателей и кампаний.
Кроме того, требования предъявляются к «высокорискованным» сценариям применения, при которых Claude дает рекомендации отдельным пользователям или клиентам. Теперь они распространяются только на потребительские случаи, а не на бизнес-применение.
Ранее на «Пронедра» писали, что искусственный интеллект помог найти пропавшего туриста в Альпах за два дня, с чем люди не справлялись почти год
