гиганты ИИ идут на территорию NVIDIA (свои чипы), а NVIDIA идёт на их территорию (open-source ИИ)

«NVIDIA должна превратиться в передовую исследовательскую лабораторию быстрее, чем эти лаборатории превращаются в производителей микросхем». - naval

Mo пишет:

Хорошо, у меня есть мнение о NVIDIA без Дженсена.

Я расскажу вам настоящую причину, почему $NVDA, скорее всего, потерпит неудачу без него, и почему передовые лаборатории и гиперскейлеры станут главными победителями. (Элон в последнее время в отличном настроении. Вы заметили?)

Самая большая угроза для NVIDIA — это её собственные клиенты, передовые лаборатории. NVIDIA должна стать фронтирной лабораторией быстрее, чем передовые лаборатории превращаются в чиповые компании. И без Дженсена они, вероятно, не смогут сохранить темп, чтобы туда добраться.

С рекурсивным самовосовершенствованием (RSI) каждая передовая лаборатория и гиперскейлер должны стать чиповыми компаниями или проиграть в гонке ИИ. Всё так просто, и все они уже заложили основу (Google TPUs, OpenAI и Meta, строящие кастомные ASIC с Broadcom, Anthropic, создающая внутреннюю команду по кремнию, и SpaceX/xAI/Tesla, строящие Terafab).

Это потому, что RSI только на уровне ПО имеет чёткие физические ограничения. Программное обеспечение может уменьшить объём вычислений и перемещения данных, необходимых модели, но оно не может изменить физическую пропускную способность чипа, ёмкость памяти или соединения. Кастомный кремний даёт лабораториям ещё один способ улучшить производительность: проектируя систему памяти, вычисления и сеть под свои собственные нагрузки.

Чтобы получить настоящий кумулятивный эффект от RSI, нужно совместно проектировать модель и кремний, чтобы получилась двусторонняя петля обратной связи: более умные модели проектируют лучшие кастомные чипы, а эти чипы быстрее обучают и запускают следующую модель. Этого нельзя добиться на готовых GPU от NVIDIA, потому что вы не получаете никакого проприетарного преимущества, покупая тот же чип, что и все остальные, а чтобы внедрить вашу архитектуру следующего поколения в кремний NVIDIA, нужно делиться дорожной картой с ними за годы до тап-аута (а они потом продают это вашим конкурентам). Плюс, ИИ теперь автоматизирует написание компиляторов и перенос ядер CUDA на другие чипы, что разрушает ров CUDA.

Дженсен утверждал, что кастомные ASIC не эффективнее GPU по стоимости, потому что модели меняются слишком быстро для фиксированного оборудования, а партнёры вроде Broadcom берут огромные маржи. Но оборудование не отстаёт от изменений моделей, когда ИИ совместно проектирует следующую модель и чип вместе, вместо того чтобы люди проектировали их по отдельности (что уже делают Google и OpenAI). И лаборатории не строят кастомный кремний только чтобы сэкономить на 75%+ валовой марже NVIDIA. Основная цель — замкнуть эту петлю аппаратного и программного обеспечения, хотя экономия на стоимости всё равно огромная, поскольку RSI требует круглосуточного внутреннего вывода, где кастомные ASIC гораздо дешевле и энергоэффективнее универсальных GPU.

Вот почему NVIDIA так старается превратиться во передовую лабораторию с открытыми весами, покупая Groq (IP для быстрого вывода), Poolside + Nemotron (внутренние модели кодирования) и Hugging Face (дистрибуцию). Если закрытые лаборатории победят, предприятия просто будут вызывать их API, работающие на собственном кастомном кремнии лабораторий, и NVIDIA окажется вытесненной. Единственный способ заставить предприятия покупать или арендовать GPU от NVIDIA для запуска моделей самостоятельно — это субсидировать бесплатные модели с открытыми весами.

Без Дженсена неясно, даже переживёт ли сделка с Hugging Face одобрение DOJ (может ли компания по GPU владеть всем стеком?), и нефаундер вряд ли пойдёт на огромные риски, необходимые, чтобы стать передовой лабораторией: вкладывая миллиарды в capex на внутренние кластеры и бесплатные модели с открытыми весами вместо простой продажи GPU, при этом напрямую конкурируя со своими крупнейшими клиентами $GOOG, $META, $SPCX, $ANT, $MSFT.