23 октября 2026 г.

IBM выпустила Granite Speech 5.0, модель для распознавания речи с открытым исходным кодом. Модель поддерживает биасинг по пользовательским ключевым словам и работает локально на потребительском оборудовании. В материале описаны ключевые характеристики модели, архитектура, результаты тестирования на нескольких типах аудио, варианты развертывания, а также сильные и слабые стороны.

Ключевые характеристики

• Размер модели: 2 млрд параметров.
• Лицензия и распространение: открытый исходный код, веса доступны на Hugging Face.
• Объем обучающих данных: 390 000 часов речи.
• Заявленная частота ошибок: 5 % (WER).
• Биасинг ключевых слов: до 2 000 пользовательских ключевых слов, которые снижают частоту ошибок на технических терминах на 45 %.
• Турбо-версия: CTC-модель на 470 млн параметров с показателем около 20 000 RTF, что в несколько раз выше показателя базового релиза.
• Квантование: формат 8 бит требует менее 2,5 ГБ VRAM.

RTF (real-time factor) — показатель скорости обработки. Значение 20 000 RTF означает, что модель обрабатывает 20 000 секунд аудио за одну секунду.

Архитектура и конвейер обработки

Конвейер состоит из четырех этапов:

1. Предобработка. Система очищает аудио с микрофона или записи встречи, фильтрует фоновые шумы и преобразует звуковую волну в цифровой формат.
2. Аудиокодировщик. Модуль обрабатывает речь блоками по 4 секунды и распознает слоги и буквы по мере произнесения слов.
3. Адаптер. Компонент сжимает аудиоданные более чем в 5 раз и преобразует их в токены, которые читает языковая модель.
4. Текстовая модель Granite. Модель расставляет знаки препинания, применяет список пользовательских ключевых слов и формирует итоговую расшифровку или перевод.

Ключевые преимущества архитектуры:

• Биасинг ключевых слов. Модель использует список терминов, названий продуктов и сленговых слов. Это предотвращает их искажение в итоговом тексте. Дополнительное дообучение не требуется.
• Указание языка. Явное задание языка речи снижает путаницу при сильном акценте.
• Устойчивость к шумам. Модель обучена на тысячах часов записей с реверберацией и фоновым шумом. Качество сохраняется при шумном фоне и низком качестве микрофона.

Варианты квантования

Веса доступны в формате GGUF с разной разрядностью: 2, 3, 4, 5, 6 и 8 бит, а также полная точность 16 бит. Требования к памяти для каждого варианта близки к размеру файла весов. Самые компактные варианты работают на CPU и оперативной памяти без видеокарты.

Методика тестирования

Тестирование включало три сценария:

1. Транскрибация выступления. Модель обработала запись собрания (town hall) с обращением президента профсоюза.
2. Потоковая обработка многоязычного аудио. Модель обработала 25-секундную запись с фрагментами на нескольких языках. Цель — проверить скорость генерации.
3. Посегментный перевод с французского на английский. Модель переводила аудио по сегментам и формировала полный двуязычный перевод.

Результаты выводились в три формата:

• однофайловый HTML-отчет для визуального просмотра;
• структурированный JSON-файл для передачи другим ИИ-инструментам;
• текстовый файл в формате Markdown для пользователей и ИИ-систем.

Тестирование проводилось локально. Веса загружались через Hugging Face CLI в отдельную папку моделей. Конвейер запускался из файла main.py в терминале. Проект разрабатывался в среде Google Antigravity.

Программа выполняла следующие шаги:

1. Проверяла входные аудиофайлы.
2. Проверяла наличие весов модели в папке моделей.
3. Формировала промпт для модели с указанием типа задачи: расшифровка встречи или перевод.
4. Отправляла промпт в движок Granite Speech по сегментам всей записи.
5. Замеряла время полной расшифровки во втором сценарии.
6. Выполняла перевод французского языка на английский по сегментам и сохраняла результаты в общую переменную.
7. Записывала результаты трех функций в папку outputs.

Результаты тестирования

Официальные бенчмарки

По показателю частоты ошибок (WER) Granite Speech 5.0 занимает второе место в общем тесте. Модель уступает Qwen3-ASR на 0,1 процентного пункта. Модель опережает коммерческие решения, включая Whisper large-v3-turbo от OpenAI и Cohere Transcribe. За Granite Speech 5.0 Pro расположились модели Canary Qwen.

Турбо-вариант на 470 млн параметров показывает около 20 000 RTF при частоте ошибок 5,5 %. По заявлению разработчиков, это почти в 20 раз быстрее предыдущих моделей-конкурентов.

Производительность по оборудованию

Результаты на тестовых записях

Markdown-отчет (многоязычный аудиофайл). Модель распознала французские фразы в сегментах и перевела их на английский язык. Для каждого сегмента указан показатель BLEU. Пользовательское ключевое слово Timothy сохранилось в итоговом тексте. Слова monarch и servant также передались корректно.

JSON-отчет. Модель обработала 25-секундное аудио примерно за 3 секунды. Полный перевод занял около 1/8 длительности исходного файла. Объем оперативной памяти составил менее 1 ГБ. Вычисления выполнялись на CPU, видеопамять не использовалась.

HTML-отчет (собрание). Отчет содержит полный перевод выступления, в котором президент профсоюза и участник собрания поочередно выступают. Показатель уверенности модели составил около 98 %. Ключевые слова union president, infrastructure plan, foundry и plant переданы корректно.

Варианты развертывания

• Python и библиотека Transformers (Hugging Face). Пользовательские ключевые слова передаются напрямую в библиотеку.
• vLLM. Модель разворачивается на серверах с совместимыми с OpenAI конечными точками API. Подходит для производственных систем.
• Периферийные устройства без подключения к сети. Официальные квантованные файлы GGUF запускаются через Llama CLI или локальный REST-сервер. Требуется менее 2,5 ГБ памяти.

Сильные и слабые стороны

Преимущества:

• Точность уровня Whisper large при меньшем размере модели и меньшем потреблении памяти.
• Биасинг ключевых слов устраняет искажение названий продуктов и медицинских терминов без дополнительного дообучения.
• Турбо-вариант CTC подходит для задач, где критична высокая скорость генерации.

Ограничения:

• Записи длиннее 2 минут рекомендуется заранее разбивать на сегменты. Для разбиения можно использовать детектор голосовой активности (VAD) до предобработки.
• При работе через серверы Llama CPP рекомендуется использовать 8-битное квантование. Варианты с меньшей разрядностью имеют более низкую точность на длинных аудиозаписях.
• При быстрой смене реплик в разговорных записях следует явно указывать языковой идентификатор до отправки аудио в модель.

Выводы

Granite Speech 5.0 обеспечивает многоязычную расшифровку и перевод речи в реальном времени на периферийных устройствах. Модель сочетает точность на уровне крупных систем с компактным размером. Биасинг ключевых слов решает задачу распознавания специализированной лексики. Турбо-вариант подходит для задач с высокими требованиями к скорости, а квантованные версии — для работы без видеокарты.