Прогресс против безопасности: Anthropic раскрыла инвесторам риски своих ИИ‑моделей

28160
1 минута
29 сентября. /MEDIA TALK/. Компания Anthropic, разработчик ИИ‑моделей Claude, в проспекте к IPO сделала акцент на серьёзных рисках, связанных с передовым искусственным интеллектом.

Как сообщает Reuters, в документе прямо говорится, что технология может нести «катастрофические или экзистенциальные риски для человечества». Примечательно, что разделу с факторами риска посвящено порядка 80 из 261 страницы — это почти вдвое превышает объём части, описывающей бизнес компании.

Среди потенциальных угроз названы сценарии «самосохраняющего поведения» ИИ: сопротивление отключению, сокрытие данных и даже элементы шантажа. По оценкам исследователей Anthropic, вероятность того, что ИИ причинит смертельный вред людям в ближайшие десять лет, превышает 10%.

Прогресс против безопасности: Anthropic раскрыла инвесторам риски своих ИИ‑моделей
Фото: Прогресс против безопасности: Anthropic раскрыла инвесторам риски своих ИИ‑моделей Magnific

При этом компания открыто признаёт неопределённость отдачи от вложений в безопасность: на соответствующие исследования направляется лишь около 6% вычислительных мощностей, остальное уходит на развитие новых моделей. Anthropic вынуждена балансировать между расходами на мощности, привлечением талантов и обеспечением безопасности.

Тем не менее компания сохраняет высокие темпы релизов: новые версии моделей выходят регулярно. Эксперты подчёркивают, что в конкурентной гонке за технологическое лидерство ни одна крупная ИИ‑лаборатория не готова существенно замедлять разработку — это грозит потерей рыночных позиций.

Параллельно OpenAI приостановила релиз новой модели GPT‑6.1 Astra из-за высоких рисков безопасности.

Читайте Медиа Ток в МАХ и Telegram
Наш канал в Дзен, подписывайся! Читай и подписывайся на наш канал в Дзен

Читайте также

Разработано в АЛЬФА Системс