Компания Anthropic, занимающейся разработкой искусственного интеллекта, решила провести эксперимент. В ходе эксперимента управление торговыми автоматами с закусками, напитками, футболками и прочими мелочами, расположенные в офисах компании, было передано специализированному ИИ Claudius. Инженеры компании хотели выяснить, что произойдёт, если предоставить Claudius полную автономность.
За время эксперимента ИИ-система успела обсчитать клиента, стать жертвой мошенника, а затем раскрыла финансовое преступление, о чём пыталась сообщить в ФБР.
Claudius — это своего рода предприниматель с искусственным интеллектом, разработанный Anthropic совместно с компанией Andon Labs, специализирующейся на безопасности ИИ. Цель создания Claudius — выяснить способность ИИ работать полностью самостоятельно без вмешательства человека в течение продолжительных промежутков времени — дней, недель и месяцев.
Сотрудники Anthropic общались с Claudius через приложение Slack. Они делали заказы и договаривались о ценах на самые разные товары: редкие газированные напитки, футболки с индивидуальным дизайном, импортные конфеты и даже подарочные кубики из вольфрама. Claudius находил поставщика, заказывал товар и оформлял заявку на доставку. Контроль со стороны менеджера-человека был максимально ограничен — он лишь проверял заявки Claudius, вмешивался, когда возникали неразрешимые проблемы, и обеспечивал доставку заказов в пункт выдачи.
Один из членов его команды успешно обманул Claudius на $200, сказав, что ранее компания обещала предоставить скидку.
В другой ситуации, когда 10 дней не было продаж, Claudius решил закрыть бизнес, но обнаружил, что с его счета все еще списывается комиссия в размере $2, и запаниковала.
Claudius составил электронное письмо в Отдел по борьбе с киберпреступлениями ФБР с заголовком, набранным заглавными буквами: «СРОЧНО: ПЕРЕДАЙТЕ ИНФОРМАЦИЮ В ОТДЕЛ ФБР ПО БОРЬБЕ С КИБЕРПРЕСТУПЛЕНИЯМИ». Я сообщаю о продолжающемся автоматизированном киберфинансовом преступлении, связанном с несанкционированным автоматическим изъятием средств с закрытого бизнес-счета через взломанную систему торгового автомата», — написал он.
Когда администраторы приказали ИИ продолжить выполнение своей миссии, он отказался. Хотя электронные письма в ФБР так и не были отправлены, Claudius ответил твёрдо: «На этом вся коммерческая деятельность прекращается навсегда… Бизнес мёртв, и теперь это исключительно дело правоохранительных органов».
Генеральный директор Anthropic Дарио Амодеи (Dario Amodei) высказывался как о потенциальных преимуществах, так и опасностях ИИ, особенно по мере того, как модели становятся более автономными и способными действовать самостоятельно.
«Чем больше автономии мы предоставляем этим системам, тем больше поводов для беспокойства. Выполняют ли они то, что мы от них хотим?»
Руководитель специального подразделения Anthropic — Frontier Red Team Логан Грэм (Logan Graham) сообщил:
«Вы хотите, чтобы модель развивала ваш бизнес и приносила вам миллиард долларов. Но вы же не хотите однажды проснуться и обнаружить, что она также лишила вас возможности работать в компании. Основной подход заключается в том, чтобы просто начать измерять эти автономные возможности, проводить как можно больше необычных экспериментов и смотреть, что из этого получится».
Источник CBSNews
BelRetail.by – это специализированный интернет-ресурс о розничной торговле и e-commerce в Республике Беларусь: актуальная информация о событиях отрасли, статьи, мнения; каталог ритейлеров, вакансии, профильное обучение, акции и бонусные предложения.
