Белая книга новой инфраструктуры вычислений ИИ: жидкостное охлаждение, оптические интерконнекты и рост специализированных чипов
Предисловие:
В 2025 году, входя в новый дата‑центр, вы удивляетесь: не слышно воя вентиляторов и не видно леса сетевых кабелей.
Вместо этого — серверы, «кипящие» в фторированных жидкостях, и лазерные сигналы, мерцающие между стойками.С экспоненциальным ростом параметров больших моделей узкое место сместилось с «вычислений» на «интерконнекты» и «теплоотвод». Этот материал разбирает физический фундамент, на котором держится эпоха AI 2.0.
Глава 1: Интерконнект‑стена — неизбежность перехода от меди к оптике
Во времена H100 мы всё ещё соединяли GPU внутри стойки медными кабелями (DAC). Но при параллельном обучении триллионных моделей физические пределы меди уже пройдены.
1.1 Взрыв кремниевых фотоник
В 2025 году CPO (Co‑Packaged Optics, оптика в единой упаковке) наконец вышла в серийное производство.
- Принцип: раньше оптические модули ставились на лицевой панели коммутатора, в десятках сантиметров от чипа, где электрический сигнал терялся. CPO размещает оптический движок прямо на подложке GPU.
- Эффект:
- Потребление энергии −50%: сигнал не проходит длинный путь.
- Рост плотности пропускной способности: IO‑полоса одного чипа превышает 51,2 Тбит/с, решая «быстрое вычисление — медленная передача».
1.2 Полностью оптическая коммутация
Архитектура дата‑центров Google Jupiter показывает будущее: OCS (Optical Circuit Switching).
- Традиционные электрические коммутаторы переводят свет в электричество и обратно (O‑E‑O), что даёт задержки и расход энергии.
- OCS использует микрозеркала MEMS, перенаправляя световой луч напрямую. Оптика‑в‑оптику, нулевая задержка и почти без энергопотерь.
Глава 2: Революция охлаждения — от воздуха к жидкости
Когда TDP одного чипа перевалил за 1000 Вт (например, Blackwell B200), воздушные радиаторы уже выглядят как кирпичи и всё равно не справляются.
2.1 Распространение cold‑plate охлаждения
Сегодня это самый массовый переходный вариант.
- Подход: медный водоблок плотно прижимается к GPU, а жидкость отводит тепло по контуру.
- Проблема: риск утечки. Если жидкость вытечет — сервер погиб. Поэтому в 2025‑м массово внедряются системы с отрицательным давлением: давление внутри труб ниже атмосферного, и при разгерметизации воздух засасывается внутрь, а жидкость не вытекает наружу.
2.2 Иммерсионное охлаждение — конечная цель
Это настоящее будущее.
- Однофазное погружение: серверы полностью погружены в изоляционное масло, тепло уходит за счёт естественной конвекции.
- Двухфазное погружение: серверы работают в фторированной жидкости, которая кипит при нагреве; пар конденсируется на крышке и возвращается вниз. Фазовый переход уносит огромную теплоту.
- PUE (эффективность энергопотребления): у классических «воздушных» ЦОД PUE ≈ 1,5, тогда как двухфазное погружение снижает его до 1,02 — почти вся энергия идёт на вычисления, а не на кондиционирование.
Глава 3: Архитектура чипов — контратака ASIC
GPU универсальны, но в инференсе универсальность означает потери.
3.1 Чипы на уровне пластины (Wafer‑Scale Engine)
Cerebras идёт по максимально радикальному пути — не резать пластину.
- Обычный чип — маленький кусок кремния (die). Cerebras делает целую 12‑дюймовую пластину единым чипом с 850 000 ядрами.
- Плюс: коммуникация между ядрами идёт внутри кристалла, с пропускной способностью в тысячи раз выше GPU‑интерконнектов. Это позволяет сверхнизкую задержку даже при Batch Size = 1.
3.2 Вычисления в памяти (Processing‑in‑Memory, PIM)
Грех архитектуры фон Неймана — разделение вычисления и памяти. 90% энергии тратится на перенос данных.
- PIM: логика простых вычислений интегрируется прямо в чипы DRAM. Данные «обрабатываются там, где лежат».
- Применение: идеально для матричных операций ИИ. Точность ниже, но для edge‑инференса — крайне перспективно.
Глава 4: Зелёные вычисления — «обруч» углеродных ограничений
ИИ — «пожиратель энергии». В 2025 году доступ к энергии стал главным критерием для размещения дата‑центров.
4.1 Следовать за источником энергии
ЦОДы мигрируют из мегаполисов в регионы с дешёвой энергией — Внутренняя Монголия, Гуйчжоу, даже Исландия.
- Где есть дешёвая ветровая и гидроэнергия — там и строят вычислительные кластеры.
- Microsoft даже экспериментирует с подводными дата‑центрами (Project Natick), используя океан как бесконечный радиатор.
4.2 Рекуперация тепла
В Европе дата‑центры начинают работать как источники отопления.
- Раз уж ИИ‑чипы выделяют столько тепла, почему бы не собирать его и не отапливать жилые кварталы? Это снижает выбросы и создаёт дополнительную экономическую ценность.
Заключение
Конкуренция в вычислительной инфраструктуре превратилась в комплексную гонку материаловедения, гидродинамики и оптики.
В этой гонке нет «избыточной производительности»: программное обеспечение (модели) жадно поглощает вычисления, а каждый скачок аппаратуры мгновенно заполняется ещё большими и умными моделями.
Материал подготовлен аппаратной группой Института передовых технологий Augmunt на основе глобального исследования цепочек полупроводников в 2025 году.
