Обработка длинных аудио- или видеофайлов часто замедляет работу ноутбука, однако Parakeet представила движок объемом менее 200 МБ, который может работать на потребительских процессорах, обеспечивая при этом более чем 100-кратное увеличение скорости. В рамках серии "Build with AI" представлен проект локального транскрибатора, способного преобразовывать записи встреч и подкастов непосредственно в текстовые файлы.

Основное внимание уделяется Nvidia Parakeet EDocks, новой системе распознавания речи, которая значительно уменьшает объем обработки аудио, предоставляя полные возможности транскрипции в компактном файле. Система использует сжатую математическую структуру с 1,58 битами и поддерживает более двух десятков языков. Ключевым преимуществом является 113-кратное увеличение скорости при работе исключительно на центральных процессорах (CPU). Это позволяет обрабатывать 60-минутную запись примерно за полминуты, что существенно сокращает время ожидания в повседневных рабочих процессах.

Разработчики оптимизировали модель, сократив объем загружаемых данных, что обеспечивает более высокие результаты при использовании меньшего объема ресурсов. Секрет эффективности заключается в упрощении весов нейронной сети до трех основных значений: -1, 0 или +1. Это изменение устраняет необходимость в дорогостоящих графических процессорах (GPU) и позволяет системе автоматически определять моменты речи, выполняя сегментацию аудио.

Установка и настройка

Для создания локального транскрибатора требуется установка библиотеки FFmpeg для преобразования различных форматов файлов в формат WAV, понятный модели. Для пользователей Windows команда для установки FFmpeg выглядит следующим образом:

# Пример команды для установки FFmpeg (для Windows)
# (Конкретная команда может отличаться в зависимости от дистрибутива и способа установки)
winget install ffmpeg

Далее необходимо установить библиотеки для разработки приложения:

• Streamlit: для создания пользовательского интерфейса (дашборда).
• Moon Reader: для загрузки модели Parakeet Redux.
• NumPy: для выполнения операций с массивами в Python.

Команда для установки этих библиотек:

pip install streamlit moon-reader numpy

Разработка приложения

Приложение будет иметь заголовок "Parakeet Redux Local Transcriber". Макет может быть настроен для настольных компьютеров (wide) или мобильных устройств (centered).

Процесс обработки входного файла включает следующие шаги:

1. Преобразование в WAV: Входной файл (аудио или видео) преобразуется в формат WAV с использованием FFmpeg. Время выполнения этой операции отслеживается с помощью библиотеки time в Python. Команда FFmpeg выполняется с помощью библиотеки subprocess.
2. Загрузка модели Parakeet Redux: Модель Parakeet Redux загружается с использованием библиотеки Moon Reader. При первом запуске загрузка модели объемом около 200 МБ займет некоторое время.
3. Транскрибация: Загруженная модель используется для транскрибации аудио. Процесс включает загрузку модели распознавания речи (speech_model.load()) и последующую транскрибацию (speech_model.transcribe()).
4. Отображение результатов: Отображается время, затраченное на извлечение аудио, время транскрибации ИИ и общее время выполнения.
5. Сегментация и форматирование: Модель автоматически определяет сегменты аудио, предоставляя время начала и окончания каждого сегмента, а также транскрибированный текст. Эти данные форматируются и сохраняются в переменной body_transcript, которая затем записывается в выходной файл в формате Markdown. Пользователь также может скачать этот файл.

Демонстрация работы

Приложение запускается командой streamlit run <имя_файла_приложения>.py. Для тестирования используется короткое видео продолжительностью около 1 минуты.

Принцип работы движка

1. Входные данные: Сырое аудио подается в конвейер обработки.
2. Преобразование: FFmpeg преобразует файл в формат аудио.
3. Удаление тишины: Модель Parakeet удаляет тихие участки для экономии вычислительных ресурсов.
4. Сжатое кодирование: Сжатый движок преобразует оставшиеся вокальные частоты.
5. Выходные данные: Точные слова с временными метками для синхронизации субтитров.

При локальной транскрибации использование памяти снижается на 85% благодаря упрощенной структуре данных. Размер файла составляет всего 178 МБ, что исключает необходимость в дорогих GPU. Модель автоматически обрабатывает знаки препинания и цифры. Стандартные процессоры могут выполнять вычисления нативно, но наличие GPU может ускорить процесс. Возможно пакетное сканирование папок с медиафайлами.

Сравнение и производительность

По результатам тестирования на 25 языках модель Parakeet Redux демонстрирует более низкий процент ошибок по сравнению с базовой версией, составляя около 10% ошибок при размере 200 МБ против 1,2 ГБ у оригинальной модели. В случае длинных подкастов процент ошибок также ниже, с улучшением производительности на 0,2% по сравнению с оригинальной версией Parakeet.

Что касается скорости работы на CPU, оригинальный Parakeet показывал 45-кратное увеличение скорости, тогда как Parakeet Redux благодаря фотонной архитектуре обеспечивает 113-кратное увеличение. По сравнению с базовой моделью, скорость выполнения увеличивается в 2,5 раза. Размер загрузки сокращен с 1,2 ГБ до 178 МБ, что уменьшает занимаемое место на диске на 85%.

Результаты тестирования

При обработке 1-минутного видеофайла:

• Извлечение аудио заняло 0,4 секунды.
• Преобразование аудио в текст заняло 3 секунды.
• Общее время выполнения конвейера составило 3 секунды.

Пример транскрибированного текста: "The China has once again returned the global tech markets as Deep Sea officially released their new 4.1 flash model." Отмечается, что названия компаний, такие как "Deep Sea" или "GPT", могут транскрибироваться некорректно, если модель не была обучена на этих конкретных терминах. Однако обычные английские слова распознаются точно.

Практическое применение

Модель может использоваться в различных сценариях:

• Транскрибатор встреч: Обеспечивает 100% конфиденциальность данных, обрабатывая файлы локально.
• База данных аудиозаписей: Преобразует разрозненные аудиозаметки в текстовую базу данных для поиска информации.
• Анализ образовательных видео: Встроенный детектор тишины позволяет разбивать длинные видео на логические сегменты.
• Обработка мультиязычных аудио: Позволяет обрабатывать аудиофайлы на смешанных языках непосредственно на устройстве.
• Инструменты голосового управления: Разработчики могут создавать инструменты командной строки с минимальной задержкой для голосового взаимодействия с кодом.
• Распределение нагрузки: Передача задач обработки на CPU освобождает GPU для работы с текстовыми моделями.

Преимущества и ограничения

Преимущества:

• Простая установка одной командой в терминале.
• Автоматическая сегментация длинного аудио по паузам.
• Фоновая обработка, минимизирующая нагрузку на системную память и позволяющая многозадачность без замедления работы.

Ограничения:

• Сильные фоновые шумы могут влиять на точность модели. Требуются чистые записи.
• Необходимость форматирования аудиофайлов до определенной частоты дискретизации модели с использованием FFmpeg.

Parakeet Redux представляет собой ультралегкий приватный движок распознавания речи, работающий полностью офлайн на базовых CPU. Для получения руководства по локальной настройке и коду проекта рекомендуется обратиться к первой ссылке в описании и закрепленных комментариях, где содержится подробная документация и инструкции по настройке.