Qwen3.8 Flash-Next на двух V100 16Gb

Можно ли запустить свежую модель от Qwen на сервере, собранном из списанных деталей 2016 года? Можно — и работает она вполне бодро.

Qwen3.8 Flash-Next весит почти 84 ГБ, а у нас всего две видеокарты V100 по 16 ГБ. И всё же модель держит в голове 262 тысячи токенов и пишет 65–73 токена в секунду. Длинный запрос на 90 тысяч токенов она прочитывает меньше чем за минуту.

Этот сервер — наш стенд, на нём крутится локальная модель для агента-программиста. Расскажу, что это за модель, как она помещается в скромную видеопамять и что получилось по скорости.

Что за модель

Flash-Next — экспериментальная модель от Qwen, своего рода черновик будущего Qwen4. Сами авторы называют её превью новой архитектуры.

Главная её хитрость — устройство «смесь экспертов». Всего в модели 125 миллиардов параметров, но на каждое слово работает лишь малая часть — около 6 миллиардов. Представьте большую команду специалистов: на каждый вопрос отвечают десять человек из пятисот, а остальные ждут своей очереди.

Ещё 51 миллиард параметров — это огромный справочник частых сочетаний из двух-трёх слов. В него модель просто заглядывает, ничего не вычисляя, так что его можно хранить даже в обычной памяти или на диске.

Что

Сколько

Параметров всего

125 млрд + 51 млрд в справочнике сочетаний

Работает на каждое слово

около 6 млрд

Слоёв

48

Экспертов в слое

512, заняты 10

Контекст

262 тысячи токенов, с расширением до миллиона

Умеет

текст, код, картинки

Почему это важно для старого железа? Модель, которая на каждое слово задействует лишь 6 миллиардов параметров, считает быстро даже на скромных картах. А ещё она экономно запоминает контекст: полноценное внимание есть только в каждом четвёртом слое, поэтому 262 тысячи токенов занимают всего 3,6 ГБ.

По тестам Qwen, в программировании новая модель обходит плотную Qwen3.8-27B, которая стояла у нас раньше. Сильнее всего разница видна на задачах с кодом на разных языках: 81 балл против 74.

Кто сжал модель

Оригинальная модель весит 354 ГБ, и на наш стенд она бы никак не влезла. Сжатую версию сделали в ISTA-DASLab — лаборатории Австрийского института науки и технологий, в группе Дэна Алистарха. Эта команда давно занимается сжатием нейросетей и выкладывает сжатые версии крупных моделей в открытый доступ: у них уже больше сотни таких моделей.

Обычно при сжатии все веса округляют одинаково грубо. В ISTA-DASLab поступили хитрее: их метод для каждого куска модели отдельно решает, насколько грубо его можно округлить. Важные части сохраняют больше точности, второстепенные сжимаются сильнее. В итоге модель укладывается в нужный размер и почти ничего не теряет.

Вариантов сжатия несколько. Мы взяли самый точный, IQ3_S:

Вариант

Размер

Балл в тестах (среднее по трём)

Оригинал

354 ГБ

93,1

IQ3_S (у нас)

83,6 ГБ

93,3

IQ3_XXS

75,8 ГБ

92,6

IQ2_XS

68,0 ГБ

89,2

Q2_0

66,4 ГБ

89,1

Сжатая в четыре раза модель решает тесты так же, как оригинал. Авторы честно оговариваются: десятые доли в плюс — это погрешность, а не чудо.

Железо

Стенд собран из б/у серверных деталей, которые легко найти на вторичном рынке. Самое ценное в нём — две Tesla V100. Это серверные карты 2017 года для специального разъёма SXM2, поэтому в обычный сервер их ставят через переходники.

Компонент

Что стоит

Плата

Supermicro X10DRi

Процессоры

2 × Xeon E5-2680 v4, по 14 ядер

Память

128 ГБ

Видеокарты

2 × Tesla V100 по 16 ГБ

Диски

109 ГБ под систему и 117 ГБ под модели

Система

Debian 12

У старых карт есть неприятный минус: многие современные программы для запуска моделей их уже не поддерживают или работают с ними плохо. Ещё одна особенность нашей сборки — карты стоят у разных процессоров и не соединены напрямую. Поэтому выбор программы для запуска оказался важнее самого железа.

Как 84 ГБ помещаются в 32 ГБ видеопамяти

Целиком — никак. Но целиком и не нужно.

Помните про экспертов? На каждое слово работает лишь малая часть из них. Поэтому в видеокарты мы кладём основу модели и тех экспертов, что нужны чаще всего. Всё остальное лежит в обычной оперативной памяти, а её у сервера 128 ГБ.

Управляет этим движок Strata. Он сам решает, каких экспертов держать на видеокартах, а остальных подтягивает по мере надобности. Разница впечатляет: на том же сервере популярный llama.cpp выдавал около 29 токенов в секунду, а Strata — от 70 до 100. В свежей версии Strata к чтению длинных запросов подключается ещё и процессор.

Вот как всё разложено по памяти:

размещение Flash-Next IQ3_S на стенде · по журналу запуска Strata

Модель поделена примерно пополам: первые 25 слоёв — на одной карте, остальные 23 — на другой. Карты не соединены напрямую, так что каждая спокойно работает со своей половиной и передаёт соседке только промежуточный результат.

На каждой карте ещё лежит запас из 5–6,5 тысячи самых востребованных экспертов. В 95–97% случаев нужный эксперт уже на месте, и лишь изредка его приходится доставать из оперативной памяти.

Есть и ещё один ускоритель — угадывание. Модель предлагает сразу несколько следующих токенов и потом проверяет себя. Примерно три догадки из четырёх оказываются верными, и это заметно ускоряет работу.

Скорость

Самое приятное: скорость почти не падает, даже когда модель держит в голове огромный разговор. Вот данные за сутки реальной работы агента, это около 3900 запросов:

Длина разговора

Токенов в секунду

до 16 тыс. токенов

73

16–64 тыс.

70

64–128 тыс.

66

больше 128 тыс.

65

Для наглядности: 65 токенов в секунду — это примерно страница текста за 8 секунд. И так даже тогда, когда перед этим модель прочитала целую книгу.

Читает модель ещё быстрее, чем пишет: около 1800–2000 токенов в секунду. Запрос на 90 тысяч токенов, то есть небольшую книгу, она прочитывает за 46 секунд. Интересно, что чем длиннее запрос, тем быстрее идёт чтение: на коротких карты просто не успевают разогнаться.

Мы проверили и предел: спрятали один факт в тексте на 234 тысячи токенов. Модель его нашла.

Ещё скорость зависит от того, что модель пишет. Код и структурированные данные идут быстрее, до 100 токенов в секунду и выше, а обычный текст медленнее, около 50. В коде модели проще угадать, что будет дальше.

Итоги

Две видеокарты 2017 года вполне справляются с современной моделью на 84 ГБ. Вот что мы для себя вынесли:

  • Программа для запуска решает больше, чем железо. Одна и та же модель на одном и том же сервере стала работать в 2,5–3 раза быстрее, когда мы сменили llama.cpp на Strata.

  • Всю модель держать в видеопамяти не обязательно. Достаточно самых нужных экспертов, а остальные спокойно живут в обычной памяти.

  • Старые карты удобнее делить по слоям. Каждая отвечает за свою половину модели и почти не ждёт соседку.

  • Длинный контекст больше не роскошь. 262 тысячи токенов занимают меньше 4 ГБ и почти не замедляют работу.

Комментарии

Загрузка комментариев…

Оставить комментарий