Мотивация

Облачные языковые модели подходят для широкого круга задач: написание кода, анализ данных, ответы на технические вопросы. Автор выделяет четыре проблемы облачных сервисов: галлюцинации моделей, конфиденциальность данных, использование созданного людьми контента для обучения моделей без согласия авторов и стоимость токенов.

Локальный запуск моделей решает часть из них. Покупка оборудования заранее исключает постоянные расходы на токены, но не исключает их полностью. Некоторые задачи по-прежнему требуют передовых облачных моделей. По оценке автора, более 90% необходимых задач можно выполнять на собственном оборудовании без подписки.

Главное преимущество локальной станции — возможность подключать постоянные вычисления к другим системам без риска перерасхода токенов. Данные остаются в локальной сети, а сервис работает при отсутствии интернета.

Корпус

Основной причиной пересборки стал выход обновленной версии корпуса Temjin TJ07 от Silverstone. Автор называет предыдущую модель своим любимым корпусом и использовал ее для сложных сборок с водяным охлаждением.

Ключевые характеристики корпуса:

• алюминиевый корпус из одного цельного листа, кроме плоской задней панели;
• отсеки для нескольких видеокарт, рассчитанные на мультиграфические системы;
• место для трех радиаторов: вместо отсеков 5,25 дюйма спереди, а также наверху и внизу;
• поддержка нескольких блоков питания для систем с высоким энергопотреблением;
• колеса в основании.

Автор отмечает, что компании игровых систем требуется меньше видеокарт и громоздких башенных корпусов, тогда как рабочие станции для ИИ нуждаются в них.

Компоненты

Процессор и материнская плата относятся к платформе Intel Sapphire Rapids. Автор выбрал ее из оборудования, которое не нашло применения в других проектах лаборатории. Выбор процессора определялся не тактовой частотой, а поддержкой большого объема памяти и большого количества линий PCIe Gen 5. Автор рассчитывает задействовать эти линии при запуске большого числа контейнеров и установке нескольких видеокарт. На материнской плате все слоты PCIe работают на полной ширине x16.

Видеокарты взяты из другой системы лаборатории. Одна из них ранее получила самодельное решение для разъема питания 12V-2x6: для него использовался переходник XT120. Автор признает, что решение выполнено недорого, однако оно работает.

Оперативная память взята из набора, отложенного на верхней полке склада. Коробки с пометкой «Не брать без разрешения бизнес-команды» автор все же использовал. Память RDIMM в текущих условиях стоит дорого.

Монтаж процессора

Автор впервые устанавливал процессор платформы LGA 4677. Согласно описанию автора, термопаста наносится на процессор, после чего процессор фиксируется на кулере. Затяжку выполняют поэтапно, крест-накрест. Для некоторых серверных платформ допускается затяжка до конца за один проход, но для этой платформы такой способ не подходит. Момент затяжки составляет 8 дюйм-фунтов (около 0,9 Н·м).

Установка материнской платы

При монтаже возникли проблемы с совместимостью. Защитная пластина на задней стороне материнской платы и резиновые проходные втулки для кабелей оказались толще, чем требуется. Автор перевернул втулки: с одной стороны они тоньше, и это устранило конфликт.

Стойки под материнскую плату поставлялись без инструкции. Шаблон крепежа автор не нашел, поэтому разместил стойки вручную.

В корпусе предусмотрено отверстие для проводки, достаточно широкое для отвертки. Вентилятор на входе установлен спереди. Воздушный поток организован так, чтобы выводить воздух через верхнюю часть корпуса.

Охлаждение

Автор выбрал воздушное охлаждение процессора, поскольку для этой платформы доступно мало водоблоков. Процессор не разгоняется, а его температур воздушного кулера достаточно.

Контур водяного охлаждения видеокарт включает:

• радиатор 420 мм, найденный на складе; это единственный такой радиатор в помещении;
• помпу и резервуар, установленные на переднюю панель корпуса; панель имеет отверстия с шагом 120 мм;
• мягкие трубки ZMT с низкой проницаемостью для испарения;
• серебряные фитинги Bitspower True Silver, возраст которых около 20 лет; серебро обладает биоцидными свойствами и помогает поддерживать чистоту контура.

Автор отмечает, что качественные компоненты для водяного охлаждения можно использовать многие годы, если не следовать постоянно сменяющимся тенденциям.

Электропитание

Блок питания Silverstone Zeus 1650R Titanium подключается к двум 12V-2x6 разъемам. Для системы с двумя видеокартами RTX 5090 автор выбрал блок мощностью 1650 Вт. В корпусе предусмотрено место для второго блока питания, если мощности окажется недостаточно.

Спецификации 3000-ваттного блока питания Silverstone указывают на вход 220–240 В. Производитель не упоминает работу от сети 120 В. При напряжении 120 В блок не выдает полную мощность, поскольку ток превысит номинал автоматического выключателя. Автор предполагает, что блок может не запуститься при 120 В.

Материнская плата требует:

• 24-контактный разъем питания;
• до двух 8-контактных разъемов EPS;
• один 8-контактный и один 6-контактный разъем PCIe для дополнительного питания слотов.

Каждый слот PCIe отдает до 75 Вт. При семи слотах суммарная мощность может достигать 525 Вт. Эта нагрузка превышает возможности двух 12-вольтовых проводов в 24-контактном разъеме, поэтому дополнительные разъемы обязательны при установке большого числа видеокарт.

Разъем 12V-2x6 обеспечивает обмен данными между блоком питания и видеокартой. Блок определяет потребление видеокарты и подтверждает возможность его обеспечения. Самодельный кабель не содержит этих линий связи. Для имитации сигнала автор замкнул сигнальные провода перемычками. В результате видеокарта получает разрешение на потребление 600 Вт.

Ошибка при сборке

Во время монтажа одна из деталей оказалась установлена неправильно: заднее вентиляторное отверстие выступало внутрь корпуса, в зону разъемов ввода-вывода. Исправление потребовало демонтажа материнской платы, установки дополнительного вентилятора и разветвителя.

Программная настройка

Программный стек включает три компонента:

1. LM Studio — среда для запуска и размещения локальных моделей. Модель доступна в локальной сети и может размещаться на отдельной машине.
2. Qwen 3.8 — модель, запущенная на обеих видеокартах. Контекст составляет около 108 тысяч токенов. Модель занимает 25–29 ГБ видеопамяти и умещается на одной видеокарте, однако LM Studio распределяет ее между двумя. Параметры по умолчанию, по словам автора, оказались оптимальными.
3. Hermes — агентская оболочка, которая оборачивает модель, задает системный промпт, подключает инструменты и интеграции.

Hermes подключен к Discord; поддерживаются также Telegram и другие мессенджеры. Бот получил имя Sventana. При запуске агент выполнял задачи в фоновом режиме: проверял новости и формировал сводку. Автор отмечает, что такие задачи можно планировать заранее, чтобы утренний дайджест был готов к приходу пользователя.

Скорость обработки невысока. Ответы формируются медленно, однако фоновые задачи вроде написания кода, тестирования и исправления ошибок могут выполняться без участия пользователя, в том числе ночью.

Дополнительные аппаратные решения

Для работы с большими моделями автор рассматривает два варианта:

• Один быстрый GPU с дополнительными картами. Вместо двух RTX 5090 можно использовать одну карту для быстрой работы и несколько карт с увеличенным объемом памяти для задач, где скорость не критична. Автор упоминает видеокарты, на которых объем памяти увеличен после модификации; одна из них, по его словам, выросла с 8 до 64 ГБ.
• DGX Spark. Лаборатория получила эти системы. По словам автора, они используют объем памяти, а не производительность процессора. Одна из систем запускает модель DeepSeek 4.1 Flash размером около 410 ГБ параметров.

Итоги

По словам автора, локальная станция позволяет:

• выполнять большую часть рабочих задач без подписки и оплаты токенов;
• хранить данные в локальной сети;
• работать при отсутствии интернета;
• запускать фоновые агентские задачи без постоянного участия пользователя.

Ограничения, отмеченные автором:

• облачные передовые модели по-прежнему необходимы для части задач;
• скорость локальных моделей ниже облачных;
• стоимость компонентов, особенно памяти и блоков питания, высока;
• сборка требует проверки совместимости и тщательного планирования места для кабелей и разъемов.

Следующий этап автор связывает с интеграцией станции с Home Assistant. Он планирует распознавание объектов у входа в дом с отправкой уведомлений. Автор отмечает, что датчики движения не справляются с задачей при сильном дожде: во время дождя свет включился автоматически. Решением может стать правило, учитывающее данные о погоде.