Белая книга новой инфраструктуры вычислений ИИ: жидкостное охлаждение, оптические интерконнекты и рост специализированных чипов

Обложка «железа»
Обложка «железа»

Предисловие:
В 2025 году, входя в новый дата‑центр, вы удивляетесь: не слышно воя вентиляторов и не видно леса сетевых кабелей.
Вместо этого — серверы, «кипящие» в фторированных жидкостях, и лазерные сигналы, мерцающие между стойками.

С экспоненциальным ростом параметров больших моделей узкое место сместилось с «вычислений» на «интерконнекты» и «теплоотвод». Этот материал разбирает физический фундамент, на котором держится эпоха AI 2.0.


Глава 1: Интерконнект‑стена — неизбежность перехода от меди к оптике

Во времена H100 мы всё ещё соединяли GPU внутри стойки медными кабелями (DAC). Но при параллельном обучении триллионных моделей физические пределы меди уже пройдены.

1.1 Взрыв кремниевых фотоник

В 2025 году CPO (Co‑Packaged Optics, оптика в единой упаковке) наконец вышла в серийное производство.

  • Принцип: раньше оптические модули ставились на лицевой панели коммутатора, в десятках сантиметров от чипа, где электрический сигнал терялся. CPO размещает оптический движок прямо на подложке GPU.
  • Эффект:
    • Потребление энергии −50%: сигнал не проходит длинный путь.
    • Рост плотности пропускной способности: IO‑полоса одного чипа превышает 51,2 Тбит/с, решая «быстрое вычисление — медленная передача».

1.2 Полностью оптическая коммутация

Архитектура дата‑центров Google Jupiter показывает будущее: OCS (Optical Circuit Switching).

  • Традиционные электрические коммутаторы переводят свет в электричество и обратно (O‑E‑O), что даёт задержки и расход энергии.
  • OCS использует микрозеркала MEMS, перенаправляя световой луч напрямую. Оптика‑в‑оптику, нулевая задержка и почти без энергопотерь.

Глава 2: Революция охлаждения — от воздуха к жидкости

Когда TDP одного чипа перевалил за 1000 Вт (например, Blackwell B200), воздушные радиаторы уже выглядят как кирпичи и всё равно не справляются.

2.1 Распространение cold‑plate охлаждения

Сегодня это самый массовый переходный вариант.

  • Подход: медный водоблок плотно прижимается к GPU, а жидкость отводит тепло по контуру.
  • Проблема: риск утечки. Если жидкость вытечет — сервер погиб. Поэтому в 2025‑м массово внедряются системы с отрицательным давлением: давление внутри труб ниже атмосферного, и при разгерметизации воздух засасывается внутрь, а жидкость не вытекает наружу.

2.2 Иммерсионное охлаждение — конечная цель

Это настоящее будущее.

  • Однофазное погружение: серверы полностью погружены в изоляционное масло, тепло уходит за счёт естественной конвекции.
  • Двухфазное погружение: серверы работают в фторированной жидкости, которая кипит при нагреве; пар конденсируется на крышке и возвращается вниз. Фазовый переход уносит огромную теплоту.
  • PUE (эффективность энергопотребления): у классических «воздушных» ЦОД PUE ≈ 1,5, тогда как двухфазное погружение снижает его до 1,02 — почти вся энергия идёт на вычисления, а не на кондиционирование.

Глава 3: Архитектура чипов — контратака ASIC

GPU универсальны, но в инференсе универсальность означает потери.

3.1 Чипы на уровне пластины (Wafer‑Scale Engine)

Cerebras идёт по максимально радикальному пути — не резать пластину.

  • Обычный чип — маленький кусок кремния (die). Cerebras делает целую 12‑дюймовую пластину единым чипом с 850 000 ядрами.
  • Плюс: коммуникация между ядрами идёт внутри кристалла, с пропускной способностью в тысячи раз выше GPU‑интерконнектов. Это позволяет сверхнизкую задержку даже при Batch Size = 1.

3.2 Вычисления в памяти (Processing‑in‑Memory, PIM)

Грех архитектуры фон Неймана — разделение вычисления и памяти. 90% энергии тратится на перенос данных.

  • PIM: логика простых вычислений интегрируется прямо в чипы DRAM. Данные «обрабатываются там, где лежат».
  • Применение: идеально для матричных операций ИИ. Точность ниже, но для edge‑инференса — крайне перспективно.

Глава 4: Зелёные вычисления — «обруч» углеродных ограничений

ИИ — «пожиратель энергии». В 2025 году доступ к энергии стал главным критерием для размещения дата‑центров.

4.1 Следовать за источником энергии

ЦОДы мигрируют из мегаполисов в регионы с дешёвой энергией — Внутренняя Монголия, Гуйчжоу, даже Исландия.

  • Где есть дешёвая ветровая и гидроэнергия — там и строят вычислительные кластеры.
  • Microsoft даже экспериментирует с подводными дата‑центрами (Project Natick), используя океан как бесконечный радиатор.

4.2 Рекуперация тепла

В Европе дата‑центры начинают работать как источники отопления.

  • Раз уж ИИ‑чипы выделяют столько тепла, почему бы не собирать его и не отапливать жилые кварталы? Это снижает выбросы и создаёт дополнительную экономическую ценность.

Заключение

Конкуренция в вычислительной инфраструктуре превратилась в комплексную гонку материаловедения, гидродинамики и оптики.
В этой гонке нет «избыточной производительности»: программное обеспечение (модели) жадно поглощает вычисления, а каждый скачок аппаратуры мгновенно заполняется ещё большими и умными моделями.


Материал подготовлен аппаратной группой Института передовых технологий Augmunt на основе глобального исследования цепочек полупроводников в 2025 году.