«Вскоре станет ясно, что сильный искусственный интеллект – это самый важный секрет США»

Леопольд Ашенбреннер опубликовал документ, в котором описал свои мысли, касающиеся будущего искусственного интеллекта Фото: freepik.com

О чем до увольнения молчали сотрудники OpenAI?

Начало лета выдалось богатым на удивительно синхронные предостерегающие заявления о рисках развития искусственного интеллекта бывших сотрудников OpenAI — мирового лидера в этой области. Сначала было выпущено открытое письмо, в которых сразу 9 человек (как уже уволившихся, так и еще работающих в компании) предупреждали о безрассудной гонке за сильным искусственным интеллектом.

«Когда я пришел в OpenAI, я не подписывался на такую позицию: „Давайте выпустим вещи в мир, посмотрим, что произойдет, и исправим их потом“», — цитирует The Times слова инженера Уильяма Сондерса. Письмо, кстати, было одобрено крестным отцом ИИ Джеффри Хинтоном, который работал над развитием нейросетей с 1970-х.

В числе подписантов — Дэниел Кокотайло, который в 2022 году присоединился к OpenAI в качестве исследователя по вопросам управления, а затем покинул команду с уверенностью, что продвинутый ИИ появится уже к 2027-му и уничтожит человечество или катастрофически навредит ему с вероятностью 70%. В электронном письме своей команде он сказал, что уходит, потому что «потерял уверенность в том, что OpenAI будет вести себя ответственно», поскольку ее системы приближаются к интеллекту человеческого уровня. «Мир не готов, и мы не готовы», — заявил Кокотайло, который отказался подписать стандартные документы OpenAI для увольняющихся сотрудников, которые включали строгий пункт, запрещающий высказывать негатив о компании или могут потерять значительную часть заработанного капитала. Кокотайло, например, рисковал, судя по статье Times, суммой примерно в $1,7 миллиона.

Маск ускорил космическую революцию, КАМАЗ создаст робозавод, власти РФ надеются на ИИ за неимением кадров

Еще дальше пошел бывший сотрудник OpenAI Леопольд Ашенбреннер, опубликовав документ, в котором описал свои мысли, касающиеся будущего искусственного интеллекта. И это произвело в медиа эффект разорвавшейся бомбы.

Эссе Ашенбреннера под названием «Осведомленность о ситуации: Предстоящее десятилетие» обсуждал почти весь мир. Даже в России буквально на каждой сессии ПМЭФ, посвященной ИИ, вспоминали фамилию автора. Кто-то в позитивном контексте: например, представители Сбера порекомендовали почитать документ в сокращенной версии, прогнав его через сберовский GigaChat. Кто-то в негативном: гендиректор АО «Крибрум», член совета при президенте РФ по развитию гражданского общества и правам человека Игорь Ашманов окрестил манускрипт абсолютнейшей «пургой на 165 страниц». Но все сошлись в одном — американский научный лидер, который должен быть не искушен политикой, неожиданно говорит о зловещей роли Китая и о том, что США требуется немедленно повысить защищенность своих лабораторий ИИ. Надо проверять всех сотрудников, бороться со шпионажем, а научным центрам быть готовыми сотрудничать с местными военными.

К слову, сам Ашенбреннер работал в команде Superalignment, которая занималась в компании Сэма Альтмана исследованиями и разработкой методов обеспечения безопасности будущих систем искусственного интеллекта, особенно тех, которые можно отнести к системам AGI, т. е. общего искусственного интеллекта (подобному человеческому и способному самообучаться). 11 апреля Ашенбреннер и его коллега Павел Измайлов были уволены. Согласно информации инсайдеров — за утечку конфиденциальной информации. Позже Ашенбреннер заявил: он был уволен из-за того, что поднимал вопросы о недостаточных мерах безопасности в компании, а также делился документами, которые, по мнению руководства, содержали в себе тайны OpenAI. Сам исследователь подобные обвинения отрицает… и пишет текст о важности борьбы со шпионажем.

К слову, Ашенбреннер был одним из немногих сотрудников, кто не подписал письмо с призывом вернуть Сэма Альтмана на пост CEO после того, как совет директоров компании решил его уволить. Поэтому, что на деле стало ключевой причиной сокращения Ашенбреннера, сказать сложно. Слишком много вводных.

Сэм Альтман Фото: © Sven Hoppe / dpa / www.globallookpress.com

К концу десятилетия ИИ станет умнее большинства людей

Генеративные модели в их эволюции Ашенбреннер привычно сравнил со школьником. Но если GPT-3 2020-х годов больше напоминал ученика начальной школы, то в прошлом году GPT-4 уже перешел в старшую школу, став отличником в классе. Модель теперь может писать сложный код, рассуждать на непростые темы и решать математические задачи уровня старших классов. GPT-4 стала полезной в повседневных делах и начала применяться повсеместно людьми разных специальностей и профессий.

В ближайшие пару лет, по мнению Ашенбреннера, искусственный интеллект закончит «школьное образование» и обойдет выпускников колледжей по интеллектуальным способностям, а концу десятилетия станет умнее большинства людей, что неизменно приведет к появлению настоящего суперинтеллекта. Впрочем, есть пугающие вещи и на более ранних стадиях.

Фактически путь ИИ от GPT-2 (2019 года) до GPT-4 (т. е. в концепции Ашенбреннера — от дошколенка до старшеклассника), был пройден всего за четыре года, что гораздо быстрее любого человеческого ребенка. Это обусловлено ростом вычислительных мощностей (плюс 0,5 OOM в год), алгоритмическими улучшениями (также плюс 0,5) и «расковыванием моделей». Т. е. ИИ выходит из статуса классических чатботов и обретает форму более гибких агентов. Неслучайно на презентациях новых продуктов ведущие компании начали демонстрировать не просто генеративные модели, но настоящих интеллектуальных и крайне очеловеченных по манерам искинов-помощников, которые будут жить у вас в телефоне.

Такими темпами в следующие четыре года, уверен Ашенбреннер, мир увидит еще один скачок в развитии искусственного интеллекта, сопоставимый по силе с тем, что произошел за время перехода от GPT-2 до GPT-4. Он и приведет к AGI, т. е. системам общего искусственного интеллекта, который превзойдет не только выпускников вузов, но и самих ИИ-инженеров.

Впрочем, не все так безоблачно. Прогресс, напомнил Ашенбреннер, может на полной скорости влететь, например, в «стену данных»: то есть моделям будет нечего больше поглощать, так как интернет, в отличие от вселенной, не бесконечен. На данный момент все публичные репозитории на Github оцениваются примерно в 1 миллион токенов. Это приводит к мысли, что, вероятнее всего, подход к обучению моделей придется менять.

Кроме того, рост доходов от ИИ провоцирует промышленную мобилизацию, в том числе увеличение производства электроэнергии на сотни процентов. Ашенбреннер уверен: до конца десятилетия триллионы долларов будут вложены в создание GPU, дата-центров и электростанций. Более того, человечество идет по пути строительства индивидуальных кластеров для обучения моделей — стоимостью триллион долларов за единицу и с потреблением, эквивалентным небольшому штату США. Но где взять 10 ГВт энергии, а именно столько понадобится для кластера в 2028 году? Эта еще одна дилемма, которая ведущим державам придется решать в ближайшее время.

Суперинтеллекту не будут нужны люди

Предположим, что мир достиг уровня общего искусственного интеллекта. Что дальше? По словам Ашенбреннера, это будет только началом новой эры. Сотни миллионов AGI смогут автоматизировать исследования и разработки в области ИИ, что приведет к взрывному росту алгоритмических достижений. Говоря проще, искусственный интеллект продолжит развиваться, все дальше и дальше уходя от человеческого уровня. С одной стороны, это очевидным образом ускорит процесс разработки новых технологий и усовершенствования существующих моделей. С другой, возникает ощущение, что уже на этой стадии человек может полностью потерять контроль над ситуацией.

Конечно, человечество получит и свои плюсы — например, знания об устройстве новых архитектур нейронных сетей или оптимизации вычислительных процессов. Кратно увеличит выпуск продукции и улучшит производство. А еще, считает Ашенбреннер, наконец-то приблизит людей к решению таких глобальных проблем, как изменение климата и разработка передовых лекарств от смертельных болезней. Тем не менее появление суперинтеллекта, признает исследователь, несет в себе значительные риски, потому что его поведение может стать непредсказуемым даже для самых разработчиков.

В качестве примера Ашенбреннер провел аналогию с атомными и водородными бомбами: если атомная боеголовка — это просто эффективное оружие, то водородная — причина, по которой может быть уничтожена целая страна. Так же будет с AGI и сверхинтеллектом, который, вероятнее всего, обеспечит значительное военное преимущество отдельным странам. А само человечество столкнется с одним из самых напряженных и нестабильных периодов своей истории.

Бывший сотрудник Open AI уверен: если США допустит ошибку сегодня, то процесс будет необратимым. Разработки по общему ИИ попадут в руки Китая уже в ближайшие один или два года. Фото: freepik.com

Главный риск развития ИИ — коммунистическая партия Китая

Обширную часть работы Ашенбреннер посвятил тому, что супер-ИИ может дать преимущество авторитарным властям, а именно — коммунистической партии Китая, которая в манускрипте стала чуть ли не главным врагом человечества.

«Сегодня они (разработчики ИИ — прим. ред.) фактически передают ключевые секреты для создания общего искусственного интеллекта компартии Китая на блюдечке с голубой каемочкой. Обеспечение безопасности секретов и параметров AGI потребует огромных усилий, и мы не находимся на правильном пути. Ведущие китайские лаборатории будут не в Пекине или Шанхае, а в Сан-Франциско и Лондоне. Через несколько лет станет ясно, что тайны общего искусственного интеллекта — это самые важные государственные оборонные секреты США, заслуживающие такого же обращения, как чертежи бомбардировщика B-21 или подводной лодки класса Columbia, не говоря уже о ядерных разработках. Но сегодня мы относимся к ним так же, как к случайному программному обеспечению SaaS. Такими темпами мы фактически просто передаем суперинтеллект компартии Китая», — пишет Ашенбреннер.

Бывший сотрудник Open AI уверен: если США допустит ошибку сегодня, то процесс будет необратим. Разработки по общему ИИ попадут в руки Китая уже в ближайшие один или два года. «Это немедленно приведет нас в состояние экзистенциальной гонки. Преимущество в суперинтеллекте могут означать решающее военное превосходство. При этом будут проигнорированы все меры безопасности, которые несет любой ответственный проект AGI в США», — резюмировал Ашенбреннер.

«Напомню: компартия Китая — это режим, основанный на непрерывном поклонении, возможно, величайшему тоталитарному массовому убийце в истории человечества. Свободный мир должен победить авторитарные державы в этой гонке. Мы обязаны нашим миром и свободой американскому экономическому и военному превосходству. Возможно, даже обладая суперинтеллектом, компартия Китая будет вести себя ответственно на международной арене, оставив всех в покое. Но история диктаторов такого типа нерадужна. Если Америка и ее союзники проиграют в этой гонке, мы рискуем всем», — заключил Ашенбреннер.

Что ж, судя по всему, OpenAI все это прекрасно осознала и пригласила в состав совета директоров генерала армии США Пола Накасоне, бывшего директора АНБ, сыгравшего ключевую роль в создании кибербезопасности государства. «Первой приоритетной задачей Накасоне будет участие в работе комитета по безопасности и защите», — говорится в заявлении OpenAI.

«Они сняли все маски: никогда не доверяйте OpenAI или его продуктам (ChatGPT и т. д.). Назначение Накасоне в совет директоров — это преднамеренное и расчетливое предательство прав каждого человека на Земле», — отреагировал Эдвард Сноуден.