«В рамках нынешней парадигмы экспоненциальное развитие ИИ уже закончено», — пишет автор телеграм-канала Spydell Finance. Блогер анализирует выступление архитекторов ИИ-прорыва, в частности шефа Nvidia Дженсена Хуанга, который рисует прекрасное будущее искусственного интеллекта. Однако перспективы не столь безоблачны, каждая новая модель почти не превосходит прошлую и пока не дает возможности обеспечить реальный прорыв.
Агентный ИИ означает, что у вас есть ИИ, который обладает свободой воли. Он может воспринимать и понимать контекст обстоятельств
О параметрах и векторах технологического прогресса в ИИ
Имеет смысл анализировать заявления и выступления реальных архитекторов мирового порядка — те, кто непосредственно меняет мир (ключевые разработчики аппаратного обеспечения под ИИ, архитекторы алгоритмов и ведущие разработчики LLM).
На выходных занимался тем, что действительно имеет смысл — просмотр и чтение всех ключевых выступлений Дженсена Хуанга (глава Nvidia) за последние 1.5 года.
Нужно учитывать, что Хуанг на выступлениях промоутирует оборудование, на котором делает сотни миллиардов, разогрев капитализацию более, чем 4 трлн, поэтому ажиотаж нужно немного «приглушать», тем не менее — именно такие люди и являются реальными инсайдерами отрасли.
При просмотре фиксировал интересны заявления:
- ИИ развивается с невероятной скоростью. Каждый слой технологического стека был преобразован за всего 12 лет. ИИ понимает контекст, понимает, о чем мы просим. Понимает смысл нашего запроса. Теперь он генерирует ответы. Это фундаментально изменило способ вычислений.
- Мы находимся на переломном этапе. Вычислительная модель, основанная на извлечении данных, сменилась генеративной моделью. Вместо того чтобы извлекать ответы, мы их генерируем. Это фундаментально изменило то, как выполняются вычисления. Каждый отдельный уровень вычислений был трансформирован. То, что началось с ускоренных вычислений, привело к ИИ, затем к генеративному ИИ, а теперь — к промышленной революции.
- Хуанг ввел новый термин для описания будущих центров обработки данных. Если раньше ЦОДы хранили и обрабатывали информацию, то «фабрики ИИ» являются генераторами нового ценного ресурса — токенов или интеллекта ИИ.
Требования к вычислительным мощностям, закон масштабирования ИИ более устойчив, и, на самом деле, гиперускорен. Количество вычислений, необходимых на данном этапе в результате агентного ИИ и рассуждений потребует на два порядка больших вычислительных мощностей, чем есть сейчас.
- Через всего пять лет ИИ сможет пройти каждый тест, который проходит человек — не только экзамены юридической коллегии адвокатов, которые он может сдать сегодня, но и высокоспециализированные медицинские лицензионные экзамены.
- На GTC 2025 Хуанг анонсировал переход к новой эре — «Agentic AI». Это системы, которые могут не просто отвечать на запросы, а воспринимать контекст, рассуждать, планировать последовательность действий и использовать цифровые инструменты для достижения поставленной цели. Это открывает путь к созданию автономных цифровых работников.
Наступает эра «Агентного ИИ» — систем, способных рассуждать, планировать и действовать для решения задач, а не просто генерировать контент.
Агентный ИИ означает, что у вас есть ИИ, который обладает свободой воли. Он может воспринимать и понимать контекст обстоятельств. Он может, что очень важно, рассуждать о том, как ответить или как решить проблему, и он может планировать и предпринимать действия.
- В ближайшее десятилетие значительная часть процесса открытия новых лекарств будет начинаться и заканчиваться на компьютере. Это приведет к созданию персонализированных лекарств и революции в здравоохранении.
- Мир проходит через платформенный сдвиг от ручного кодирования программного обеспечения, работающего на универсальных компьютерах, к ПО машинного обучения, работающему на ускорителях ИИ и генерируемого через ИИ.
- В мире есть миллиард работников знаний. Вероятно, будет 10 миллиардов цифровых работников, работающих с нами бок о бок. 100% цифровых инженеров-программистов в будущем. Их около 30 миллионов по всему миру. 100% из них будут использовать помощь ИИ.
- Точно так же, как компьютерная графика была революционизирована с такой невероятной скоростью за последние 10 лет, вы увидите, как темпы разработки автономных транспортных средств значительно возрастут в ближайшие несколько лет.
- Стоимость вычислений немного возрастает — возможно, удваивается. Но вы сокращаете время вычислений в 20 раз. Вы получаете 10-кратную экономию.
Дальше интересно про роботы и цифровые двойники.
О параметрах и векторах технологического прогресса в ИИ
Что Дженсен Хуанг из Nvidia за последние 1.5 года говорил о векторе развития ИИ?
- Генеративный ИИ кардинально снижает порог входа в творческие и технические профессии. Любой человек получает возможность стать программистом, художником или дизайнером, используя ИИ как партнера и усилителя своих способностей. Это фундаментально меняет рынок труда.
- Конечной целью развития ИИ, согласно Хуангу, является создание «воплощенного ИИ» (Embodied AI) — систем, способных осмысленно и безопасно действовать в физическом мире.
Следующий рубеж ИИ — физический ИИ.
- Применение ИИ, по мнению Хуанга, приведет к полной перестройке промышленных и экономических процессов через создание высокоточных виртуальных моделей реального мира — цифровых двойников (Digital Twins). Одним из самых амбициозных проектов является создание цифрового двойника Земли — Earth-2. Эта модель, работающая на суперкомпьютерах, предназначена для высокоточного моделирования и прогнозирования экстремальных погодных явлений и последствий изменения климата.
- Платформа NVIDIA Omniverse позиционируется как операционная система для создания и эксплуатации цифровых двойников. В этих симуляциях можно тестировать новые производственные линии, обучать роботов и оптимизировать процессы без остановки реального производства, что снижает риски и капитальные затраты. Ключевая идея — обучение через подражание (imitation learning) в симуляции на платформе Omniverse, а затем перенос навыков на физического робота. Это решает главную проблему робототехники — нехватку реальных данных для обучения.
- Хуанг предсказывает, что человекоподобные роботы станут массовым продуктом, поскольку они спроектированы для мира, уже созданного для людей. Им не потребуется перестройка существующей инфраструктуры. Будущие фабрики, по его словам, будут оркестрами из тысяч таких роботов, управляемых через цифрового двойника в Omniverse.
- Будущие фабрики будут управлять командами роботов… Цифровой двойник фабрики населен виртуальными роботами и их моделями ИИ — их «мозгами». Роботы выполняют задачу, воспринимая окружение, рассуждая, планируя следующее движение и, наконец, преобразуя его в действия. Эти действия симулируются в симуляторе мира Omnivers. Это началось с ИИ восприятия — понимания изображений, слов и звуков. Затем генеративный ИИ — создание текста, изображений и звука. Теперь мы вступаем в эру физического ИИ, который может продолжать, рассуждать, планировать и действовать
- Следующая волна ИИ — это модели, которые понимают законы физики: гравитацию, трение, причинно-следственные связи. Это критически важное условие для создания автономных роботов, способных ориентироваться и взаимодействовать с непредсказуемой реальной средой. ИИ, который понимает физический мир… Он понимает такие вещи, как трение и инерция, причина и следствие, постоянство объекта… Эта способность понимать физический, трехмерный мир откроет новую эру ИИ, которую мы называем физическим ИИ, и она сделает возможной робототехнику.
- Все фабрики будут роботизированы. Фабрики будут оркестрировать роботов, и эти роботы будут собирать продукты, которые сами по себе роботизированы. Индустрия робототехники станет крупнейшей индустрией из когда-либо созданных… Мы считаем, что эра робототехники уже за углом.
- Реальные данные ограничены, поэтому синтетические данные необходимы для обучения фабрики данных автономных транспортных средств. Используя Omniverse и Cosmos, фабрика данных ИИ NVIDIA может масштабировать сотни поездок в миллиарды эффективных миль. NVIDIA предлагает полный набор технологий для обучения, развертывания, симуляции и тестирования робототехники следующего поколения. Всё, что движется — от автомобилей и грузовиков до фабрик и складов будет роботизировано и воплощено ИИ.
- Индустрия роботов по мнению Хуанга имеет будущую емкость в 10 трлн долларов. Физический ИИ будет воплощен в каждой индустрии экономики.
Тупиковая ветвь эволюции
Дженсена Хуанга можно понять — он промоутирует вычислительные кластеры, с которых зарабатывает сотни миллиардов, разогрев капитализацию свыше 4 трлн. В его картине мира вычислительные кластеры нужны всем и каждому в неограниченных количествах и всегда.
В представлении многих промоутеров ИИ (ключевые фигуры текущих ИИ вендоров) экспансия ИИ только начинается, а я же выскажу абсолютно непопулярную точку зрения — в рамках нынешней парадигмы экспоненциальное развитие ИИ УЖЕ ЗАКОНЧЕНО!
У меня есть ультимативные аргументы.
Каждая ветвь эволюции современных LLMs дается со все большим трудом при незначительном росте производительности и эффективности.
Это стало понятно с провальной GPT-4.5 Orion и это подтвердил релиз GPT-5 (сейчас лучшая и самая мощная модель, но от OpenAI ожидали прорыва, которого не произошло).
Существуют известные ограничения:
- Технологические и ресурсные ограничения связаны прежде всего с вычислительными ресурсами и оборудованием: увеличение количества параметров модели или объёма обучающих данных требует экспоненциально большего количества графических процессоров, оперативной памяти и электроэнергии.
- Ограничения набора данных проявляются в доступности качественных данных. Лидеры индустрии уже использовали почти все легкодоступные текстовые данные сети. Дальнейшее улучшение требует либо дорогостоящей лицензии на закрытые дата-сеты, либо генерации синтетических данных — но последнее пока не привело к прорыву. Сохранение закона масштабирования больше не гарантировано, а актуализируется принцип убывающей отдачи. Достигнут предел или потолок эффективности. Грубо говоря, каждый условный процентный пункт прироста интегральной производительности стоит все больше денег и ресурсов. Если всего три года назад производительность росла экспоненциально при незначительных расходах, сейчас полностью противоположный баланс — незначительные улучшения стоят сотен миллиардов долларов, которые невозможно монетизировать.
Проблема заключается в фундаментальных ограничениях архитектуры современных LLMs.
Все современные флагманские модели (ChatGPT, Claude, Gemini, Grok и другие) построены на архитектуре трансформеров, которая прекрасно подходит для анализа текста и обучения на огромных массивах данных, но имеет встроенные слабые места.
Фундаментальная невозможность расширения контекстного окна.
Основная причина ограниченности контекстного окна кроется в сердце архитектуры трансформера — механизме самовнимания (self-attention). Для определения связей между элементами последовательности модель должна вычислить «оценку внимания» для каждой пары токенов. Это приводит к тому, что вычислительные и ресурсные затраты растут квадратично по отношению к длине последовательности.
Проще говоря, удвоение длины контекста в четыре раза увеличивает объем необходимых вычислений и памяти. Этот экспоненциальный рост создает жесткий физический и финансовый барьер: в какой-то момент дальнейшее расширение окна становится непомерно дорогим и медленным.
При расширении контекстного окна в 100 раз с 10 тыс до 1 млн токенов требуется в 10000 (10 тыс) раз больше вычислительных ресурсов. Архитектура транформеров в свой основе чудовищно неэффективна.
Кроме того, такие модели работают в режиме пакетной обработки, не имея постоянной долгосрочной памяти: вся память ограничена контекстным окном одной сессии. Это затрудняет поддержание знаний или навыков за пределами короткого диалога без полного переразвития модели, что исключает накопление опыта и «прививания навыков», корректных инструкций LLM.
Есть различные алгоритмы оптимизации удержания широкого контекстного окна (не буду вдаваться в математику), но тут всплывает другая проблема.
Помимо вычислительных ограничений, есть и проблемы стабильности и качества при расширении контекста — архитектурные ограничения, затрудняющие эффективное воспроизведение информации на всей ширине контекстного окна.
Даже если игнорировать стоимость, простое увеличение размера окна не гарантирует повышения качества работы модели.
Развитие ИИ закончено?
В архитектуре трансформеров, на котором базируются все без исключения современные LLMs вшит «деструктивный ген», фактически лимитирующий развитие.
В целом, длину контекстного окна ограничивает комбинация факторов: вычислительные ресурсы (квадратичная сложность), объём памяти устройств и необходимость переобучать модель работать с новыми, большими позициями. Поэтому бесконечно увеличивать окно невыгодно и сложно, и индустрия параллельно исследует и другие подходы — например, хранение знаний во внешних базах и выборочный поиск информации вместо подачи всего контекста разом, но это все внешние костыли.
Интеграция ИИ в коммерческое и бизнес применение невозможна с ограниченным и крайне нестабильным контекстным окном, но НИ ОДНА компания НЕ предоставила эффективного решения.
Это базовые, но не все ограничения трансформеров.
- Пробел в памяти: самое серьезное ограничение заключается в том, что у трансформеров нет постоянной, долговременной памяти. Они не способны обучаться на лету в ходе взаимодействия с пользователем. Каждый новый факт или навык требует дорогостоящего процесса дообучения или полного переобучения модели. Это кардинально отличает их от биологического интеллекта, который обучается непрерывно и инкрементально. Контекстное окно — это лишь временный буфер, а не механизм для накопления и интеграции знаний. Сейчас LLMs — абсолютно изолированный от внешнего мира «черный ящик», архитектурно НЕ имеющий возможность самообучаться и в своей основе не может считаться интеллектом, т. к. первый признак интеллекта — способность к обучению.
- Проблема «заземления»: модели обучаются на текстах, а не на взаимодействии с реальным миром. Их «понимание» — это статистический анализ закономерностей в данных, а не осмысленное соотнесение символов с реальными объектами, действиями и их последствиями. LLMs не способны строить абстрактные представления о том, как устроен мир. Это гарантированно приводит к галлюцинациям — генерации правдоподобной, но ложной или бессмысленной информации. Это ограничение лишь частично можно обойти в рамках, так называемого, «физического ИИ», который упомянул Хуанг, но раскрытие данного направления требует серии отдельных постов.
- Врожденная негибкость: архитектура трансформера статична. После завершения обучения веса нейронов фиксируются. Модель не может динамически создавать новые связи («синапсы») или изменять свою структуру в ответ на новый опыт, как это делает человеческий мозг. Эта нехватка пластичности означает, что LLM не являются по-настоящему адаптивными системами.
- Неразвитость когнитивных функций. Нынешние архитектуры страдают от ограниченной способности к явному рассуждению и пониманию причинно-следственных связей. Они статистически предсказывают следующее слово на основе шаблонов в данных, но не обладают врождённым «здравым смыслом» или истинным пониманием мира. В результате даже лучшие LLM часто ошибаются в фактах и не умеют надёжно планировать многошаговые решения.
Качество данных является не архитектурным, а технологическим ограничением и как раз решается за счет алгоритмов обучения, но об этом в других материалах.
В совокупности эти ограничения показывают, что архитектура трансформеров, несмотря на всю ее мощь, является тупиковой ветвью на пути к созданию универсального интеллекта. Дальнейшее масштабирование может привести к появлению более изощренных и эрудированных «статистических попугаев», но не к рождению истинного разума.
Любая технология в своем развитии следует S-образной кривой: за периодом медленного старта следует взрывной рост, который затем сменяется плато, где дальнейшие улучшения становятся все более сложными и дорогостоящими. Множество данных указывает на то, что большие языковые модели вступают в эту фазу плато.
Понимает ли Сэм Альтман все это? Вне всяких сомнений да, абсолютно, но публичное признание затруднит многомиллиардные раунды финансирования и расщепит адовый хайп вокруг ИИ, обрушим капитализацию ИИ компания на порядок.
Продолжение следует (скорее всего, после данных по инфляции в США)
Комментарии 3
Редакция оставляет за собой право отказать в публикации вашего комментария.
Правила модерирования.