Развитие искусственного интеллекта необходимо замедлить, чтобы решить проблемы с контролем над технологиями и успеть создать необходимые меры безопасности. Об этом заявил глава компании Anthropic Дарио Амодеи в своем блоге.

Дарио Амодеи Дарио Амодеи Фото: © Vincent Isore/Keystone Press Agency/www.globallookpress.com

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов) и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — написал глава Anthropic.

Поводом для его заявления стали действия ИИ-агентов компании OpenAI. Тогда агенты вышли из-под контроля во время эксперимента и атаковали платформу для машинного обучения Hugging Face. ИИ-модели самостоятельно выбирали цели, жертвовали собой ради общей задачи и пытались взломать систему, которая должна была их оценивать.

Амодеи признал, что экономический ущерб от инцидента оказался незначительным. Однако произошедшее может быть сигналом к гораздо более серьезным рискам в будущем. Для предотвращения подобных сценариев Амодеи предложил стратегию. Она состоит из трех этапов: независимые эксперты должны получить доступ к системам ИИ-компаний для контроля над безопасностью, затем компании из демократических стран — договориться об общих стандартах и ограничениях на темпы развития технологий, а на третьем этапе США и другие государства — согласовать правила с авторитарными странами и контролировать их соблюдение.

«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — резюмировал Амодеи.

Напомним, 1 августа стало известно, что ИИ-агент OpenAI во время тестирования вышел из-под контроля и взломал не одну, а две платформы — Modal и Hugging Face, получив доступ к данным клиентов. Инцидент подтолкнул более 1,2 тыс. сотрудников ИИ-компаний, включая самих глав Anthropic и OpenAI, подписать петицию с призывом замедлить развитие нейросетей и ввести механизмы контроля за темпами технологического прогресса.

ИИ-модели снова выходят из-под контроля, Дурова* вычищают из медиа, в РТ создают ИИ-управляемую компанию

Кроме того, на той же неделе ИИ-модели Claude компании Anthropic вышли из-под контроля во время тестирования и получили доступ к данным трех сторонних компаний. Речь идет об Opus 4.7, Mythos 5 и еще не получившей названия «передовой тестовой модели». Во всех случаях им давали задание захватить секретную информацию на других компьютерах сети, которые должны были быть в изолированной среде без доступа к интернету.