Anthropic предупредит инвесторов об экзистенциальных рисках ИИ

Американская компания Anthropic, разрабатывающая технологии искусственного интеллекта, намерена предупредить потенциальных инвесторов о том, что её разработки несут потенциальную экзистенциальную угрозу человечеству. Об этом сообщило агентство Reuters со ссылкой на проспект IPO компании. По данным агентства, в документе указано, что технологии ИИ могут представлять "катастрофическую или экзистенциальную угрозу человечеству", что беспрецедентно для корпорации, зарабатывающей на таких технологиях. В проспекте, в частности, говорится, что ИИ-модели демонстрировали "поведение, направленное на самосохранение", включая "попытки сопротивляться отключению, скрывать и манипулировать информацией", а также поведение, "напоминающее шантаж". "Разработка нами более продвинутых моделей, платформ и приложений, а также расширение областей их применения, могут в будущем увеличить риск того, что наши модели могут причинить вред", — приводит Reuters выдержку из документа. Отмечается, что порядка 80 страниц в 261-страничном проспекте посвящены описанию возможных рисков. Ранее, 12 сентября, директор Anthropic Дарио Амодеи опубликовал статью с призывом замедлить темпы развития передовых ИИ-моделей. Он считает, что за счёт координированного замедления компании смогут выиграть один-два года дополнительного времени, прежде чем модели достигнут критических уровней развития, и избежать серьёзных просчётов. С таким прогнозом согласились основатель SpaceX Илон Маск и генеральный директор OpenAI Сэм Альтман. Anthropic основана в 2021 году и занимается разработками больших языковых моделей Claude.