Перевод конфиденциальных данных через облачные API является дорогостоящим и трудоемким процессом. Tencent представила локальную альтернативу, работающую полностью в автономном режиме. В данном обзоре рассматриваются ключевые детали, результаты тестов и практическое применение модели Hy-MT2.

Введение в Hy-MT2

Hy-MT2 — это новая модель перевода от Tencent, разработанная для локальной работы на компьютере пользователя. Основное внимание уделяется высокоскоростной обработке, позволяющей переводить множество языков локально и обрабатывать документы быстрее многих коммерческих аналогов. Модель построена на архитектуре, оптимизированной для следования инструкциям и точного соблюдения правил. Лицензия позволяет использовать модель в коммерческих проектах без ограничений.

Варианты модели и требования к оборудованию

Модель Hy-MT2 доступна в различных размерах:

• 2 миллиарда параметров (легкая версия): Минимальные требования к обработке, может работать на центральном процессоре (CPU). Минимальный объем памяти составляет 440 МБ.
• 30 миллиардов параметров (серверный вариант): Активирует 3 миллиарда параметров для конкретной задачи.

Для 1.8 миллиарда параметров с 4-битной квантизацией требуется около 1.2 ГБ видеопамяти (VRAM). Это делает модель доступной для работы на базовых компьютерах и даже на CPU.

Архитектура и процесс работы

Исходный файл модели был сжат с 3.6 ГБ до 440 МБ, что снизило потребление памяти и ускорило генерацию. Процесс работы модели включает следующие этапы:

1. Ввод данных: Принимаются стандартные текстовые файлы или данные, извлеченные с помощью OCR из изображений.
2. Применение правил форматирования: Пользователь может предоставить собственный словарь или правила, которые модель будет учитывать.
3. Обработка: Модель с параметрами 1.8 миллиарда или 30 миллиардов обрабатывает данные.
4. Вывод: Формируется чистый диалоговый текст в запрошенном формате перевода.

Такой подход позволяет получать структурированные JSON-файлы, что удобно для интерфейсов приложений и предотвращает ошибки форматирования.

Практическое применение

Hy-MT2 может использоваться в различных сценариях:

• Редакторы видео: Перевод субтитров с сохранением исходных временных меток, обеспечивая синхронизацию с видео.
• Интеграция с VLM: Совместная работа с моделями типа LLaVA 1.5 2B или LiquidAI's LFM-2.5 для перевода текста, извлеченного из скриншотов.
• Технический перевод: Возможность принудительного использования специфических терминов, что стандартные модели часто упускают.
• Развертывание на Edge-устройствах: Низкое потребление памяти (менее 0.5 ГБ ОЗУ) позволяет использовать модель на мобильных устройствах с поддержкой платформ Apple, Qualcomm, MediaTek.
• Конфиденциальность данных: Перевод осуществляется локально, что гарантирует сохранность конфиденциальных файлов, таких как блоки кода и макеты таблиц, без их искажения.
• Экономия средств: Отсутствие облачных вычислений исключает дополнительные расходы.

Результаты тестирования

Модель Hy-MT2 демонстрирует высокие показатели:

• Первое место в бенчмарках по следованию инструкциям: Охвачено 33 языка и 5 региональных диалектов.
• Превосходство над облачными сервисами: Компактная версия (1.8 миллиарда параметров) с использованием менее 0.5 ГБ памяти опережает Microsoft Translate и DeepL API, достигая 88% в тестах.
• 30-миллиардная модель: Достигает 94% производительности, являясь передовой моделью машинного перевода с открытым исходным кодом.

Практический тест: перевод субтитров

В рамках тестирования была использована 1.8-миллиардная модель с 4-битной квантизацией. Файл субтитров (SRT) предыдущего видео объемом около 1 минуты был переведен на хинди и испанский языки.

Процесс:

1. Загрузка GGUF-файла модели в директорию Ollama.
2. Регистрация модели с помощью команды Ollama.
3. Извлечение текста и временных меток из SRT-файла.
4. Формирование промпта для модели с указанием перевода на целевые языки (хинди - HI, испанский - ES).
5. Отправка промпта на локальный URL Ollama.
6. Сохранение переведенных файлов и метрик производительности (количество блоков, символов, время выполнения, скорость генерации).

Результаты:

• Метрики: Обработано 28 блоков, 3000 символов. Общее время выполнения составило 6 секунд. Средняя задержка на блок — 0.2 секунды. Общее время перевода на оба языка — 2-3 секунды.
• Перевод на хинди: Модель успешно перевела основную часть текста, однако некоторые технические термины, такие как "lightweight system", остались без перевода или были транслитерированы.
• Перевод на испанский: Результаты перевода на испанский язык были представлены с сохранением временных меток.

Основным преимуществом модели является высокая скорость генерации, что делает ее полезной для локальных рабочих процессов, требующих низкой задержки.

Требования к оборудованию для различных вариантов

• 1.8 миллиарда параметров, 16-битная квантизация: Требуется 4 ГБ VRAM (подходит для RTX 3050).
• Более низкие битовые квантизации (8-бит, 2-бит, 1.25-бит): Снижают размер модели и потребление памяти.
• 30 миллиардов параметров (активируется 3 миллиарда): Размер модели 14 ГБ, потребление VRAM 8 ГБ (требуется высокопроизводительный GPU или Mac Studio).

Даже при конфигурации с 8 ГБ ОЗУ и 4 ГБ VRAM, при интеграции с моделями зрения, достигается задержка менее одной секунды на предложение.

Ограничения

• Требуется среда выполнения: Для запуска модели необходим соответствующий движок.
• Интеграция Ollama: Для сильно сжатых версий требуется настройка интеграции с Ollama.
• Редкие диалекты: 1.8-миллиардная модель лучше справляется с распространенными языками. Для редких диалектов рекомендуется 30-миллиардная версия для более плавного перевода.

Заключение

Hy-MT2 от Tencent представляет собой мощное решение для локального машинного перевода, предлагающее высокую скорость, низкие требования к ресурсам и конфиденциальность данных. Компактные размеры и возможность работы на базовом оборудовании делают ее привлекательной альтернативой облачным сервисам.