Большинство моделей синтеза речи плохо работают с региональными языками или требуют слишком много времени для клонирования голоса. Maya2 TTS, выпущенная недавно, поддерживает многоязычное клонирование голоса в реальном времени и занимает около 1 ГБ оперативной памяти. В этом обзоре рассматриваются ключевые функции модели, порядок установки и результаты локального тестирования многоязычного клонирования голоса на основе голоса автора и английского текста.

Общая характеристика модели

Maya2 TTS — открытая модель для потоковой генерации речи. Она создана как диалоговая голосовая система и работает с 12 языками и диалектами. Английский язык поддерживается вместе с 11 региональными языками.

Ключевые параметры:

• Задержка генерации: 80 миллисекунд. Аудио начинает воспроизводиться почти сразу.
• Объем памяти: квантованная 4-битная версия занимает 1,1 ГБ и работает на стандартной настольной оперативной памяти.
• Клонирование голоса без обучения (zero-shot): для клонирования достаточно 3–10 секунд эталонной записи. Модель воспроизводит голос диктора на любом из 12 языков.

Архитектура

Модель состоит из трех основных компонентов:

1. Основной блок (backbone) на базе Qwen3. Он обрабатывает исходный текст и формирует смысловое представление в слоях трансформера.
2. Глубинный кодировщик (depth encoder). Включает 44 небольших слоя трансформера, объединенных в 11 этапов. Он формирует акустические характеристики итогового аудио.
3. Декодер Mimi. Преобразует результат в аудио с частотой дискретизации 24 кГц. Отдельный механизм сохраняет идентичность диктора в итоговой записи.

Архитектура позволяет переключаться между английским и региональными языками Индии внутри предложения без заметных пауз. При межъязыковом клонировании сохраняется тембр исходного голоса. Например, носитель английского языка может получить речь на хинди, маратхи или английском языке.

Загрузка и запуск

Доступны два варианта:

• Официальная библиотека Maya2 TTS. Загружает полную модель объемом около 5 ГБ.
• Файлы формата GGUF. Доступны варианты с 4-битным, 8-битным и 16-битным квантованием, а также проекторные файлы для кодирования аудио.

Для запуска GGUF-файлов требуются бинарные файлы C++ из библиотеки llama.cpp. Порядок действий:

1. Загрузить все файлы GGUF выбранного квантования в локальную папку.
2. Загрузить бинарные файлы llama.cpp.
3. Выполнить команды в терминале среды разработки Google Anti-Gravity.
4. Передать в аргументах модели файлы основного блока и проектора.

Тестирование

Тестовый проект включает три функции, которые вызываются из общего конвейера. Каждая функция использует функцию запуска Maya2 TTS на базе llama.cpp. Конвейер запускается командой Python из терминала.

Задача 1. Переключение между английским и хинди

Задача: произнести в одном предложении английскую фразу и фразу на хинди без пауз. Текст: «Hello, let me check that right away for you» и далее «order number 9842 dispatch» на хинди.

Используется предустановленный женский голос Hana. Результат: модель переключалась между языками без пауз, акцент в обоих языках соответствовал норме. Фраза «Anything else I can assist you with today?» также была воспроизведена корректно.

Задача 2. Клонирование голоса автора

Задача: клонировать голос автора по эталонной записи из предыдущего видео и воспроизвести одно и то же предложение на хинди и маратхи. Предложение содержит слова «Horizon» и «neural audio».

Результаты:

• Хинди. Тембр голоса соответствовал эталону. Последние слова звучали с акцентом, который не характерен для голоса автора.
• Маратхи. Начало было воспроизведено корректно, но в конце слова перемешались, и фразу было трудно разобрать. Тембр при этом совпадал с эталоном, а маратхский акцент оценивается как точный.

Каждый язык генерировался отдельным запуском, оба результата сохранялись в отдельных аудиофайлах.

Задача 3. Эмоциональный спортивный комментарий

Задача: сгенерировать быстрый комментарий в стиле крикетного комментатора с вставками на хинди. Используется предустановленный мужской голос Ritik. Текст включает фразы: «What an incredible finish», «Last ball before runs needed», «Bowler runs in or mid wicket», «Absolute madness here at the stadium», «Ball goes soaring into the crowd for an unbelievable victory».

Результат: голос передавал эмоциональность комментария и переключался между хинди и английским. Все три задачи, включая запуск конвейера, выполнены менее чем за 2 минуты на CPU.

Производительность

Заявленные показатели для разных конфигураций:

Для сравнения с облачными решениями приведены официальные данные:

• Рейтинг Voice Arena для хинди: Maya2 TTS занимает второе место. Выше оказалась только одна облачная модель, указанная в тесте (ElevenLabs или Cartesia Sonic в зависимости от позиции в рейтинге — в исходных данных точная позиция не уточнена). Конкурентами названы ElevenLabs и Cartesia Sonic.
• Задержка: 80 миллисекунд у Maya2 TTS против 120–200 миллисекунд в среднем у облачных моделей.
• Эталонная запись для клонирования: 3–10 секунд у Maya2 TTS против более 10 секунд у ElevenLabs. Другие облачные решения предлагают только готовые профили голосов.
• Языковая поддержка: по заявлению разработчиков, Maya2 TTS поддерживает все локальные языки и акценты. У облачных решений, по данным источника, заметен уклон в западные акценты и ограниченный выбор региональных диалектов.

Цифры производительности и рейтингов приведены по данным разработчиков и источника материала. Независимая проверка в рамках тестирования не проводилась.

Преимущества и ограничения

Преимущества:

• Нулевая стоимость. Неограниченное число генераций при локальном запуске.
• Конфиденциальность. Голосовые данные остаются в локальной системе, их не получают внешние API.
• Минимальная задержка. Задержка 80 миллисекунд позволяет строить голосовых ассистентов без заметных пауз в диалоге.

Ограничения:

• Качество звука. Выходной формат — моно 24 кГц. Формат подходит для голосовых ассистентов, для студийного качества требуется апскейлинг.
• Среда запуска. Файлы GGUF требуют библиотеки llama.cpp в Python. Стандартная среда Ollama, которая применяется для обычных языковых моделей, для этой модели не подходит.
• Пунктуация. Для стабильного вывода при быстрой речи необходима корректная пунктуация, в частности запятые во входном тексте.
• Качество на отдельных языках. В тестах маратхи и часть фраз на хинди содержали перемешанные слова и расхождения в конце фразы.

Модель обеспечивает многоязычный голосовой синтез в реальном времени на локальном потребительском оборудовании без платы за API. Ее можно доработать под конкретные сценарии, используя исходный код и дорожную карту, описанные в файле readme.