Parasail и d-Matrix: гетерогенная архитектура, которая ускоряет ИИ-инференс в 10 раз

Увеличить

Индустрия ИИ-инференса стоит перед парадоксом: модели растут, спрос взрывается, а стоимость обработки одного токена остаётся критическим барьером. Компании Parasail и d-Matrix предложили решение, которое переворачивает привычную логику — не строить один гигантский чип на все задачи, а собирать оптимальную конфигурацию из разных ускорителей.

Что произошло

Parasail — облачная платформа для инференса, объединяющая вычислительные мощности в более чем 40 дата-центрах по всему миру — объявила о развёртывании кастомных ускорителей d-Matrix Corsair совместно с GPU NVIDIA Hopper и Blackwell. Результат — ускорение инференса в 10 раз при существенном снижении стоимости и энергопотребления.

Как это работает

Ключ к эффективности — гетерогенный подход. В объединённой системе каждая задача достаётся тому чипу, который справляется с ней лучше всего:

• GPU NVIDIA (Hopper / Blackwell) — берут на себя ресурсоёмкий предварительный этап (prefill), где важна вычислительная мощность.

• d-Matrix Corsair — отвечают за декодирование, где критична задержка и стоимость каждого токена.

Такая дезагрегированная архитектура позволяет Parasail автоматически распределять нагрузку между гетерогенным парком ускорителей, опираясь на требования конкретной модели и обработки.

Цифры, которые имеет значение

По данным d-Matrix, связка Corsair с GPU демонстрирует:

Стратегия NVIDIA: не конкурировать, а интегрировать

Вместо борьбы с потенциальными конкурентами NVIDIA выстраивает экосистему, в которой сторонние ускорители становятся частью её платформы. Это уже происходит и с чипами Groq, и теперь — с d-Matrix Corsair. Логика проста: если заказчику нужен самый дешёвый чип для каждой конкретной задачи, NVIDIA предпочитает обеспечить продажи или занять место рядом с продуктом-победителем, а не пытаться вытеснить его собственным решением.

Почему это важно для рынка

Гетерогенные вычисления — не новость, но Parasail делает их доступными через облачную модель. Компания не продаёт оборудование: она управляет инфраструктурой, которая автоматически подбирает оптимальные ускорители под каждую рабочую нагрузку. Для бизнеса это означает, что дорогие GPU можно использовать только там, где они действительно нужны, а остальное отдать дешёвым и энергоэффективным чипам.