Qwen3.8 Flash-Next на двух V100 16Gb
Можно ли запустить свежую модель от Qwen на сервере, собранном из списанных деталей 2016 года? Можно — и работает она вполне бодро.
Qwen3.8 Flash-Next весит почти 84 ГБ, а у нас всего две видеокарты V100 по 16 ГБ. И всё же модель держит в голове 262 тысячи токенов и пишет 65–73 токена в секунду. Длинный запрос на 90 тысяч токенов она прочитывает меньше чем за минуту.
Этот сервер — наш стенд, на нём крутится локальная модель для агента-программиста. Расскажу, что это за модель, как она помещается в скромную видеопамять и что получилось по скорости.
Что за модель
Flash-Next — экспериментальная модель от Qwen, своего рода черновик будущего Qwen4. Сами авторы называют её превью новой архитектуры.
Главная её хитрость — устройство «смесь экспертов». Всего в модели 125 миллиардов параметров, но на каждое слово работает лишь малая часть — около 6 миллиардов. Представьте большую команду специалистов: на каждый вопрос отвечают десять человек из пятисот, а остальные ждут своей очереди.
Ещё 51 миллиард параметров — это огромный справочник частых сочетаний из двух-трёх слов. В него модель просто заглядывает, ничего не вычисляя, так что его можно хранить даже в обычной памяти или на диске.
Что | Сколько |
Параметров всего | 125 млрд + 51 млрд в справочнике сочетаний |
Работает на каждое слово | около 6 млрд |
Слоёв | 48 |
Экспертов в слое | 512, заняты 10 |
Контекст | 262 тысячи токенов, с расширением до миллиона |
Умеет | текст, код, картинки |
Почему это важно для старого железа? Модель, которая на каждое слово задействует лишь 6 миллиардов параметров, считает быстро даже на скромных картах. А ещё она экономно запоминает контекст: полноценное внимание есть только в каждом четвёртом слое, поэтому 262 тысячи токенов занимают всего 3,6 ГБ.
По тестам Qwen, в программировании новая модель обходит плотную Qwen3.8-27B, которая стояла у нас раньше. Сильнее всего разница видна на задачах с кодом на разных языках: 81 балл против 74.
Кто сжал модель
Оригинальная модель весит 354 ГБ, и на наш стенд она бы никак не влезла. Сжатую версию сделали в ISTA-DASLab — лаборатории Австрийского института науки и технологий, в группе Дэна Алистарха. Эта команда давно занимается сжатием нейросетей и выкладывает сжатые версии крупных моделей в открытый доступ: у них уже больше сотни таких моделей.
Обычно при сжатии все веса округляют одинаково грубо. В ISTA-DASLab поступили хитрее: их метод для каждого куска модели отдельно решает, насколько грубо его можно округлить. Важные части сохраняют больше точности, второстепенные сжимаются сильнее. В итоге модель укладывается в нужный размер и почти ничего не теряет.
Вариантов сжатия несколько. Мы взяли самый точный, IQ3_S:
Вариант | Размер | Балл в тестах (среднее по трём) |
Оригинал | 354 ГБ | 93,1 |
IQ3_S (у нас) | 83,6 ГБ | 93,3 |
IQ3_XXS | 75,8 ГБ | 92,6 |
IQ2_XS | 68,0 ГБ | 89,2 |
Q2_0 | 66,4 ГБ | 89,1 |
Сжатая в четыре раза модель решает тесты так же, как оригинал. Авторы честно оговариваются: десятые доли в плюс — это погрешность, а не чудо.
Железо
Стенд собран из б/у серверных деталей, которые легко найти на вторичном рынке. Самое ценное в нём — две Tesla V100. Это серверные карты 2017 года для специального разъёма SXM2, поэтому в обычный сервер их ставят через переходники.
Компонент | Что стоит |
Плата | Supermicro X10DRi |
Процессоры | 2 × Xeon E5-2680 v4, по 14 ядер |
Память | 128 ГБ |
Видеокарты | 2 × Tesla V100 по 16 ГБ |
Диски | 109 ГБ под систему и 117 ГБ под модели |
Система | Debian 12 |
У старых карт есть неприятный минус: многие современные программы для запуска моделей их уже не поддерживают или работают с ними плохо. Ещё одна особенность нашей сборки — карты стоят у разных процессоров и не соединены напрямую. Поэтому выбор программы для запуска оказался важнее самого железа.
Как 84 ГБ помещаются в 32 ГБ видеопамяти
Целиком — никак. Но целиком и не нужно.
Помните про экспертов? На каждое слово работает лишь малая часть из них. Поэтому в видеокарты мы кладём основу модели и тех экспертов, что нужны чаще всего. Всё остальное лежит в обычной оперативной памяти, а её у сервера 128 ГБ.
Управляет этим движок Strata. Он сам решает, каких экспертов держать на видеокартах, а остальных подтягивает по мере надобности. Разница впечатляет: на том же сервере популярный llama.cpp выдавал около 29 токенов в секунду, а Strata — от 70 до 100. В свежей версии Strata к чтению длинных запросов подключается ещё и процессор.
Вот как всё разложено по памяти:
размещение Flash-Next IQ3_S на стенде · по журналу запуска Strata
Модель поделена примерно пополам: первые 25 слоёв — на одной карте, остальные 23 — на другой. Карты не соединены напрямую, так что каждая спокойно работает со своей половиной и передаёт соседке только промежуточный результат.
На каждой карте ещё лежит запас из 5–6,5 тысячи самых востребованных экспертов. В 95–97% случаев нужный эксперт уже на месте, и лишь изредка его приходится доставать из оперативной памяти.
Есть и ещё один ускоритель — угадывание. Модель предлагает сразу несколько следующих токенов и потом проверяет себя. Примерно три догадки из четырёх оказываются верными, и это заметно ускоряет работу.
Скорость
Самое приятное: скорость почти не падает, даже когда модель держит в голове огромный разговор. Вот данные за сутки реальной работы агента, это около 3900 запросов:
Длина разговора | Токенов в секунду |
до 16 тыс. токенов | 73 |
16–64 тыс. | 70 |
64–128 тыс. | 66 |
больше 128 тыс. | 65 |
Для наглядности: 65 токенов в секунду — это примерно страница текста за 8 секунд. И так даже тогда, когда перед этим модель прочитала целую книгу.
Читает модель ещё быстрее, чем пишет: около 1800–2000 токенов в секунду. Запрос на 90 тысяч токенов, то есть небольшую книгу, она прочитывает за 46 секунд. Интересно, что чем длиннее запрос, тем быстрее идёт чтение: на коротких карты просто не успевают разогнаться.
Мы проверили и предел: спрятали один факт в тексте на 234 тысячи токенов. Модель его нашла.
Ещё скорость зависит от того, что модель пишет. Код и структурированные данные идут быстрее, до 100 токенов в секунду и выше, а обычный текст медленнее, около 50. В коде модели проще угадать, что будет дальше.
Итоги
Две видеокарты 2017 года вполне справляются с современной моделью на 84 ГБ. Вот что мы для себя вынесли:
Программа для запуска решает больше, чем железо. Одна и та же модель на одном и том же сервере стала работать в 2,5–3 раза быстрее, когда мы сменили llama.cpp на Strata.
Всю модель держать в видеопамяти не обязательно. Достаточно самых нужных экспертов, а остальные спокойно живут в обычной памяти.
Старые карты удобнее делить по слоям. Каждая отвечает за свою половину модели и почти не ждёт соседку.
Длинный контекст больше не роскошь. 262 тысячи токенов занимают меньше 4 ГБ и почти не замедляют работу.
Комментарии
Загрузка комментариев…