Против «RAMageddon»: как старые модули DDR4 получают вторую жизнь в новейших серверах

Увеличить

Цены на DDR5 бьют исторические рекорды. Дефицит памяти, спровоцированный взрывным ростом ИИ-датацентров, не спадает уже много месяцев — спрос настолько сильно превышает предложение, что производители DRAM диктуют условия, а стоимость модулей выросла в разы. В этой ситуации инженеры нашли неожиданный выход: вместо того чтобы платить бешеные деньги за новую DDR5, они достают со складов старые модули DDR4, извлечённые из списанных серверов, и подключают их к новейшим машинам через собственный чип Vistara.

Как Vistara соединяет старое с новым

Vistara — это кастомный CXL 2.0-контроллер, разработанный по спецификации Type-3 memory expander. По сути, это специализированный ASIC, который берёт память с интерфейсом DDR4 и «переводит» её на протокол CXL, понятный современным процессорам. Чип подключается к хосту через шину PCIe 5.0 x16.

Ключевые характеристики Vistara:

• Два независимых 72-битных канала DDR4

• Поддержка стандартных RDIMM-модулей

• До 256 ГБ на один ASIC (при использовании 64-гигабайтных DIMM)

• В текущей эксплуатации — 128 ГБ на чип (модули DDR4 по 32 ГБ из списанного оборудования)

• Базовая частота работы с памятью — DDR4-2400

Архитектура платформы MemServer

Серверы собираются по нестандартной двухуровневой схеме. Один 158-ядерный AMD EPYC «Turin» подключается к двум ASIC Vistara через два линка PCIe 5.0 x8. В системе одновременно присутствует два типа памяти:

Программный стэк на уровне ОС прозрачно экспонирует CXL-память как отдельный NUMA-узел. Ядро Linux автоматически мигрирует «холодные» страницы, к которым обращаются редко, на медленный DDR4-уровень, а часто используемые данные оставляет в быстрой локальной DDR5. Такой подход позволяет эффективно утилизировать дешёвую память большого объёма без серьёзного удара по производительности.

Что под капотом Vistara

ASIC построен на трёх RISC-V-процессорных ядрах, которые выполняют критически важные функции:

• безопасная загрузка (secure boot)

• инициализация устройств при старте

• управление прошивкой (firmware)

• мониторинг состояния и телеметрия

Задержка в простое (idle round-trip latency) составляет около 50 наносекунд — весьма достойный показатель для CXL-расширителя памяти. Инженеры оптимизировали CXL-контроллер и конвейер памяти так, чтобы свести к минимуму накладные расходы протокола, уменьшить задержки в очередях и снизить общую латентность.

Чип также оснащён продвинутой системой коррекции ошибок: используется код Рида–Соломона с исправлением двух символов (Reed-Solomon two-symbol error correction) и поддержка x4 chip-kill — технология, позволяющая пережить полный отказ одной микросхемы памяти на модуле.

Увеличить

Не только Vistara: решение Panmnesia

Vistara — внутренняя разработка, недоступная для сторонних заказчиков. Однако на рынке уже есть альтернатива. Южнокорейский стартап Panmnesia создал готовый CXL-контроллер и коммутатор, который позволяет подключать большие пулы памяти к серверам без существенного роста задержек — и это доступно любой компании.

«Бытовало мнение, что установка коммутатора между CPU и устройствами памяти неизбежно увеличивает латентность, поэтому прямо подключённые multi-headed устройства оставались стандартом, даже если их было сложно масштабировать, — говорит Myoungsoo Jung, CEO Panmnesia. — Наша работа доказывает, что это не является inherent-ограничением CXL или CXL-коммутаторов — это особенность ранних реализаций, и она исчезает по мере взросления стандарта и продуктов вокруг него.»

Проблема ранних CXL-решений была в том, что многие из них строились на базе существующего PCIe-IP: CXL работает поверх физического интерфейса PCIe, и разработчики часто просто дорабатывали готовые PCIe-контроллеры, которые были оптимизированы для шинной, а не для memory-semantic коммуникации. Это добавляло substantial latency.

Panmnesia переработала тракт данных с нуля: вместо отдельных буферов на каждом уровне стека используются общие разделяемые буферы, что устраняет большую часть синхронизационных накладных расходов. Дополнительные оптимизации латентности на всех уровнях протокольного стека компенсируют дополнительный hop, который вносит внешний коммутатор.

Почему это важно: контекст дефицита DRAM

Дефицит DRAM — уже не просто цикличное явление, а системная проблема. Производство памяти — капиталоёмкая отрасль: строительство нового fab требует миллиардов долларов и нескольких лет. ИИ-датацентры скупают весь доступный объём HBM и DDR5, оставляя рынок без привычного баланса спроса и предложения. Производители вроде Samsung и SK hynix уже переориентируют линии на HBM, усугубляя дефицит обычной серверной памяти.

Решения вроде Vistara и Panmnesia предлагают прагматичный подход: вместо того чтобы бороться с рынком за каждый модуль DDR5, можно эффективно использовать уже существующие запасы DDR4. Это даёт несколько преимуществ:

• Экономия — DDR4-модули, которые всё равно лежат на складах или отправляются в утиль, получают вторую жизнь

• Независимость от цепочек поставок — меньше зависимость от волатильного рынка DRAM

• Экология — продление срока службы тысяч тонн электронных компонентов снижает объём e-waste

• Гибкость — NUMA-архитектура с tiered memory позволяет адаптировать систему под конкретные сценарии нагрузки

В эпоху тотального дефицита побеждает не тот, у кого глубже карман, а тот, кто умеет эффективнее использовать то, что уже есть. CXL-расширители памяти — один из самых ярких примеров того, как инженерная смекалка решает задачу, которую рынок не может урегулировать сам.