Qwen 3.8 27B at 67 tok/s on Two $78 Nvidia Tesla P100s

29 окт. 2026 г.

Read: ~5m · You save: 7 min

Qwen 3.8 27B со скоростью 67 токенов/с на двух Nvidia Tesla P100 стоимостью по $78

Могут ли две серверные GPU за $78 опровергнуть прогнозы ИИ и запустить модель на 27B со скоростью 67 токенов в секунду? Полная сборка, решения и рецепт.

Alibaba выпустила Qwen 3.8 27B — модель, достаточно компактную для работы на локальном оборудовании. Её разработчики сообщили, что она превзошла Claude Opus в 16 из 24 бенчмарков. Проверить это утверждение на потребительском оборудовании с имеющейся у автора конфигурацией было невозможно. В этой статье описана сборка, на которой модель работала со скоростью 67 токенов в секунду на двух подержанных видеокартах Nvidia Tesla P100, приобретённых за $156 в сумме. Автор не проверил все 24 бенчмарка.

Цели и ограничения

Модель должна помещаться в видеопамять (VRAM) графической карты. Если она не помещается, часть данных переходит в системную оперативную память, и скорость работы заметно падает. В распоряжении автора была карта с 8 ГБ VRAM. Для целевой модели требовалось примерно в четыре раза больше.

Автор выбрал версию модели с квантованием Quant 6. Квантование уменьшает размер модели за счёт снижения числовой точности. Более низкие уровни квантования (например, Quant 4) сильнее сжимают модель и сильнее ухудшают качество вывода. Для модели на 27B с квантованием Quant 6 требуется около 32 ГБ VRAM.

Целевая производительность составляла 30 токенов в секунду. Эта скорость примерно соответствует скорости чтения человеком.

Выбор оборудования

Онлайн-гайды рекомендовали видеокарту Nvidia RTX 3090, которую можно было купить б/у примерно за 1 400 долларов. Автор вместо этого приобрёл карты Nvidia Tesla P100 из излишков дата-центров. Компании заменяют серверные карты каждые несколько лет, а выведенные из эксплуатации устройства часто перепродаются по низким ценам.

Tesla P100 была выпущена в 2016 году и построена на архитектуре Pascal. Каждая карта имеет:

16 ГБ памяти с высокой пропускной способностью (HBM), расположенной рядом с чипом
Цену 78 долларов

Две карты обеспечивают 32 ГБ видеопамяти (VRAM), что соответствовало требованиям. Пара стоила примерно одну девятую часть цены одной RTX 3090.

ChatGPT предсказывал для такой конфигурации 17 токенов в секунду. Claude предсказывал 17–19 токенов в секунду. Автор отверг эти прогнозы после изучения работ сообщества разработчиков, описанных ниже.

Проблемы при настройке и их решения

Автор столкнулся с тремя проблемами во время настройки.

Проблема 1: чёрный экран при загрузке

Видеокарты были установлены в рабочую станцию Dell Precision T5810. Система не выводила изображение.

Каждой P100 требуется 16 ГБ адресного пространства. Старый BIOS системы не мог выделить такой объём.

Решение: перепрошить карты в графический режим.

Инструмент: Nvidia NVFlash
Параметр: GPU mode graphics
Перед прошивкой сохраните резервную копию исходной прошивки.
Прошивка отключает проверку памяти с ECC (код коррекции ошибок). Включите ECC обратно после прошивки.

После прошивки требование к адресному пространству снизилось до 256 МБ. Для появления изображения на экране при первой перезагрузке потребовалось три цикла включения и выключения питания. Система восстановилась без дополнительного вмешательства.

Проблема 2: мощность блока питания

Каждая карта потребляет до 250 Вт. Блок питания рабочей станции не мог обеспечить питание обеих карт.

Решение:

Установить второй блок питания, выделенный для второй карты.
Ограничить энергопотребление каждой карты до 150 Вт программным способом.

В тестах автора повышение мощности, подаваемой на карты, увеличивало скорость менее чем на 1%.

Проблема 3: перегрев

P100 — пассивная карта без встроенных вентиляторов. Она полагается на воздушный поток корпуса сервера.

Первая система охлаждения использовала кожух со слабым вентилятором. Одна карта достигла 79°C в течение 35 секунд.

Решение: изготовить направляющий кожух (воздуховод). Кожух охватывает обе карты, а его вентилятор нагнетает воздух непосредственно через радиаторы. При такой конструкции обе карты одновременно выдержали полный стресс-тест. Максимальная температура составила 61°C.

Автор делает вывод, что для пассивных карт необходим вентилятор и что этот вентилятор должен работать через направляющий кожух.

Спекулятивное декодирование

Первая рабочая конфигурация выдавала 49 токенов в секунду. Этот результат превзошёл прогнозы в 17–19 токенов в секунду.

Основным фактором было спекулятивное декодирование. Метод работает следующим образом:

Небольшой дополнительный компонент модели предсказывает следующие четыре токена.
Полная модель проверяет все четыре предсказания за один проход, вместо того чтобы генерировать по одному токену за раз.
Правильные предсказания дают несколько токенов за стоимость одного прохода.

Без спекулятивного декодирования те же карты выдавали 29,7 токенов в секунду.

Доля принятых предсказаний зависит от типа текста:

Задачи на логику и рассуждения: предсказания принимались примерно в 70% случаев.
Обычные документы: предсказания принимались примерно в 50% случаев, поэтому скорость была ниже.

Автор не обнаружил существенной разницы между двумя и четырьмя предсказанными токенами.

Результаты тестов

Автор запустил логическую головоломку с 10 стражниками, часть из которых лжёт, а часть говорит правду. Оба уровня квантизации решили головоломку правильно.

Конфигурация	Результат
Qwen 3.8 27B, Quant 6, два P100, спекулятивное декодирование (4 токена), первый работающий результат	49 токенов/с
Qwen 3.8 27B, Quant 6, два P100, спекулятивное декодирование отключено	29.7 токенов/с
Логическая головоломка, Quant 4, два P100	67 токенов/с
Логическая головоломка, Quant 6, два P100	66.7 токенов/с
Gemma 4 (модель со смесью экспертов), один P100	79 токенов/с
Nvidia RTX 3090, спекулятивное декодирование включено (по данным автора)	66.4 токенов/с

Дополнительные измерения:

Обработка промпта: 400 токенов в секунду. Длинный документ обрабатывается за считанные секунды.
Контекстное окно: 128 000 токенов.
Скорость при полном контексте: 37 токенов в секунду.

Автор объясняет более высокую скорость на логической головоломке более высокой долей принятых токенов для рассуждающего текста.

При отключённом спекулятивном декодировании RTX 3090 заметно быстрее. При включённом спекулятивном декодировании, по словам автора, обе конфигурации работают почти с одинаковой скоростью.

Варианты использования и ограничения

Автор сообщает следующее:

Локальные большие языковые модели: Подходит.
Генерация видео: Не подходит.
Игры: Не подходит. У P100 нет видеовыхода.

Автор утверждает, что модель на 27B сгенерировала код для анимации, показанной в исходном видео. Модель проверила собственные скриншоты и исправила проблемы, которые сама выявила. Автор описывает эту работу как полностью выполненную на двух картах P100.

Программное обеспечение и конфигурация

Оборудование

Рабочая станция с двумя полноразмерными слотами PCIe
Две видеокарты Nvidia Tesla P100
Блок питания, достаточный для обеих карт, или второй блок питания
Адаптерные кабели питания, совместимые с P100
Кожух с каналом для вентилятора

Подготовка карт

Создайте резервную копию исходной прошивки.
Перепрошейте обе карты в графический режим с помощью NVFlash.
Повторно включите ECC после прошивки.
Установите ограничение мощности 150 Вт для каждой карты.

Система

Операционная система: Ubuntu 24.04
Драйвер: Nvidia 580, последняя ветка драйверов, поддерживающая эти карты

Программный стек

Инференс-движок: форк llama.cpp для P100 от Kamic, скомпилированный с CUDA 12.9
Файл модели: Qwen 3.8 27B, квантование 6
Спекулятивное декодирование: включено, с четырьмя предсказываемыми токенами
Длина контекста: 128 000 токенов

Peer-to-Peer коммуникация

Прямое взаимодействие между двумя картами приводило к сбоям обеих карт до тех пор, пока автор не добавил iommu=pt в строку загрузки Linux. Без этого параметра коммуникация peer-to-peer должна оставаться отключённой. Автор утверждает, что коммуникация peer-to-peer повышает производительность лишь на несколько процентов.

Заключение

Автор поставил цель в 30 токенов в секунду. Итоговая конфигурация достигла 67 токенов в секунду на двух картах P100 общей стоимостью 156 долларов.

Автор не считает эту конфигурацию подходящей для всех пользователей. RTX 3090 работает без модификаций. Установка на P100 требует перепрошивки, прокладки кабелей, доработок системы охлаждения и настройки программного обеспечения. По оценке автора, эта работа займёт выходные для пользователя, уверенно чувствующего себя с железом.

По словам автора, сообщество разработчиков, которые поддерживают форки llama.cpp для старого оборудования, сделало эту конфигурацию возможной.

Автор также сообщает, что после завершения исходного видео конфигурация достигла 74 токенов в секунду.

Введение и задача

Создатель представляет цель: запустить Qwen 3.8 27B с квантованием 6 на скорости 67 токенов в секунду на дешёвых видеокартах, несмотря на прогнозы, что это не сработает.

Qwen 3.8 27B с квантованием 6 работает на скорости 67 токенов в секунду на двух видеокартах, общая стоимость которых составляет 156 долларов.
ChatGPT предсказывал 17 токенов в секунду; у видеокарты самого создателя было 8 ГБ видеопамяти.
Разработчики Alibaba заявили, что Qwen 3.8 27B превзошла Claude Opus в 16 из 24 бенчмарков.

Зачем важны VRAM и квантование

Модель должна помещаться в VRAM видеокарты GPU, иначе она сильно замедляется. Квант 6 требует около 32 ГБ VRAM, а автор ставил целью 30 токенов в секунду, примерно скорость чтения.

Модель, которая не помещается в VRAM, переходит в обычную оперативную память и начинает работать ползком.
В карте автора было 8 ГБ; модели нужно примерно в четыре раза больше.
Квант 4 сжат сильнее и менее точен, чем Квант 6; автор выбрал Квант 6.
Для модели на 27B Квант 6 требует около 32 ГБ VRAM.
Целевая скорость составляла 30 токенов в секунду.

Поиск дешёвого железа

Советы с YouTube указывали на RTX 3090 примерно за 1400 долларов с рук. Автор вместо этого купил карты Nvidia Tesla P100 на рынке излишков дата-центров по 78 долларов за штуку.

Подержанная RTX 3090 стоила около 1400 долларов.
Nvidia Tesla P100 была выпущена в 2016 году и продавалась по 78 долларов за штуку.
Две P100 дают 32 ГБ памяти HBM, что примерно в девять раз дешевле цены 3090.
Компании заменяют серверные карты каждые несколько лет, а старые карты дешево выставляют в интернете.

Прогнозы ИИ и сообщество

ChatGPT и Claude предсказали 17–19 токенов в секунду, потому что карты — старые GPU Pascal. Создатель нашёл сообщество, которое поддерживает работу этих карт с помощью собственных сборок llama.cpp.

ChatGPT и Claude предсказали 17–19 токенов в секунду на P100.
P100 — карта поколения Pascal.
Использованная версия от сообщества — сборка llama.cpp для P100 от Kamic.

Три проблемы и их решения

Три проблемы помешали настройке: чёрный экран, ограничения по питанию и перегрев. Каждая была устранена перепрошивкой в графический режим, добавлением второго блока питания с ограничением 150 Вт и постройкой кожуха с направленным вентилятором.

Проблема первая: чёрный экран на Dell Precision T5810, потому что BIOS не мог выделить 16 ГБ адресного пространства на каждую карту.
Решение первое: перепрошивка карт в графический режим с помощью утилиты Nvidia NVFlash (режим GPU: graphics); сначала сохранить резервную копию прошивки; затем снова включить ECC; потребность снижается до 256 МБ.
Проблема вторая: каждая карта потребляет 250 Вт; был добавлен второй блок питания, а каждая карта ограничена 150 Вт, при потере скорости менее 1%.
Проблема третья: пассивные карты без вентиляторов перегревались, достигая 79°C за 35 секунд при слабом кожухе с вентилятором.
Решение третье: направленный кожух с вентилятором, продувающим радиаторы; максимальная температура в тесте на нагрузку составила 61°C.

Спекулятивное декодирование и тесты производительности

Спекулятивное декодирование позволяет небольшой дополнительной головке угадывать следующие четыре слова, которые полная модель проверяет за один проход. На первом тесте это повысило скорость с 29,7 до 49 токенов в секунду.

Первый реальный результат: 49 токенов в секунду, против предсказанных 17–19.
Без спекулятивного декодирования карты работали со скоростью 29,7 токенов в секунду.
Спекулятивное декодирование использует четыре догадки; они верны примерно в 70% случаев для логических задач и примерно в 50% для обычных документов.
Тест на логическую головоломку: Quant 4 работал со скоростью 67 токенов в секунду, Quant 6 — 66,7 токенов в секунду; оба решили головоломку.
Скорость чтения промпта составляет 400 токенов в секунду; контекстное окно — 128 000 токенов, а скорость при полном контексте — 37 токенов в секунду.
Gemma 4 (меньшая модель со смесью экспертов) достигла 79 токенов в секунду на одной карте.
Со спекулятивным декодированием 3090 достиг 66,4 токенов в секунду против 66,7 на P100.

Что сработало, что не сработало и ограничения

Создатель подводит итоги: что сработало, что нет и каковы ограничения карт. Они подходят для локальных LLM, но не для генерации видео или игр.

Что сработало: режим графики flash, ограничение мощности, кожух с воздуховодом и спекулятивное декодирование с четырьмя предположениями.
Что не сработало: первый кожух со слабым вентилятором и более старая сборка от сообщества, которая работала медленнее.
Два предположения против четырёх почти не различались; работа одной карты при половинной скорости слота стоила около 2%.
Карты не подходят для генерации видео или игр, так как у них нет видеовыхода.
Анимация в видео была создана моделью 27B на этих картах.

Полный рецепт

Полный рецепт охватывает оборудование, ОС и драйвер, форк llama.cpp и версию CUDA, файл модели и настройку загрузки IOMMU, необходимую для того, чтобы две карты могли напрямую обмениваться данными.

Оборудование: старая рабочая станция с двумя полноразмерными слотами PCIe, две Tesla P100, достаточный блок питания или второй БП, правильные переходные кабели питания, кожух с каналом для вентилятора.
Система: Ubuntu 24.04 с драйвером Nvidia 580, последним драйвером, поддерживающим эти карты.
Программное обеспечение: форк llama.cpp KMx P100, скомпилированный с CUDA 12.9.
Модель: Qwen 3.8 27B Quant 6 с спекулятивным декодированием на четыре предположения; контекст 128 000 токенов.
Предупреждение: прямая связь между картами приводила к сбою обеих карт, пока в строку загрузки Linux не был добавлен параметр iommu=pt.

Заключение

Автор заключает, что данная конфигурация подходит людям, готовым немного повозиться с настройкой. Автор отдаёт должное сообществу и намекает на дальнейшее увеличение скорости до 74 токенов в секунду в будущем видео.

Результат: 67 токенов в секунду на видеокартах стоимостью $156 при цели в 30 токенов в секунду.
RTX 3090 рекомендуется тем, кто хочет готовое решение, которое работает без дополнительной настройки.
Автор считает, что сообщество движет вперёд локальное направление ИИ.
К концу видео скорость достигла 74 токенов в секунду.