Модель Tencent n 1 CI2, выпущенная командой Prisma LM, доступна в трех версиях: 2, 4 и 9 млрд параметров. Версии разработаны для запуска на потребительских системах. В материале рассматривается, как модель обрабатывает изображения документов, удаляет персональные данные и передает очищенные данные в дальнейший конвейер обработки.

Основные характеристики модели

Модель принимает текстовые запросы и изображения. Система использует гибкие процессоры визуальных данных для анализа всего визуального содержимого.

Загрузка модели

Файлы модели публикуются на официальной странице Hugging Face. Выбор версии зависит от аппаратной конфигурации:

• для видеокарты объемом 2 ГБ подходят файлы GGML версии на 2 млрд параметров;
• системы с большими ресурсами могут использовать более крупные версии.

В тестировании применялась 2-битная квантизация. Дополнительно загружался файл модуля зрения. Загрузка выполнялась в среде разработки Google Antigravity с помощью команд hf download в локальную папку models.

Регистрация модели в Ollama

Файлы GGML регистрируются в сервисе Ollama с помощью простого файла пользовательской модели. Модель получает имя ternary bonsai two. Для взаимодействия с ней используется команда ollama.chat с указанным именем модели. Для установки Ollama требуется загрузка бесплатного ПО с сайта ollama.com/download.

Механизм работы

Архитектура и вычисления

• Три числовых состояния. Модель хранит полную базу знаний в трех значениях. Сжатые данные не распаковываются: вычисления выполняются напрямую в памяти графического процессора.
• Сложение вместо умножения. Ресурсоемкая логика умножения исключена из основного ядра. Вычисления опираются на простое сложение, что снижает нагрузку на вычислительные ресурсы.
• Гибридная архитектура внимания. Слои стандартного и линейного внимания обеспечивают работу с длинными запросами на высокой скорости.
• Математическое сглаживание. Специальный процесс сглаживания обрабатывает экстремальные значения и сохраняет качество результата при сжатии.

Модуль обработки изображений

Модуль обработки изображений остается неактивным, пока он не понадобится. Даже в активном состоянии он занимает небольшой объем памяти. При текстовых запросах модуль пропускается. Модель поддерживает плотные документы и распознает мелкий текст, цифры и рукописные данные.

Конвейер обработки документов

Скрипт main.py выполняет следующие действия:

1. Считывает все изображения из папки inputs.
2. Передает изображения и распознанный текст в Ollama вместе с именем модели.
3. Сохраняет JSON-ответ в папку outputs.

Требования к запросу

Модель получает задачу:

• найти персональные данные: имена, контактные номера, адреса электронной почты;
• выделить платежные суммы и чувствительные финансовые данные;
• сформировать ответ в заданном формате, включающем:
  • сводку документа;
  • перечень отредактированного текста с указанием скрытых сведений;
  • классификацию всех данных по типам сущностей;
  • журнал аудита.

Тестовые данные

Тестовый набор включал пять документов:

1. Чек отеля.
2. Чек кафе.
3. Визитная карточка компании.
4. Сложный счет с рукописным текстом и подписями.
5. Медицинский рецепт на неанглийском языке.

Результаты тестирования

Аппаратные показатели

• Использовано 0,8 ГБ памяти видеокарты из 4 ГБ доступных.
• Обработка пяти документов заняла 30 секунд, примерно 6 секунд на документ.

Документ 1: чек отеля

• Отображены название отеля и адрес.
• Имя владельца скрыто.
• Выведены стоимость позиций, итоговая сумма и налог 7,6%. Значения 54,5 и 7,6% указаны корректно.
• Скрыты имя сотрудника, телефон, факс и адрес электронной почты.
• Предоставлен полный журнал скрытых данных.

Документ 2: чек кафе

• Скрыты имена и фискальный идентификатор.
• Указаны позиции и их стоимость.
• Промежуточная сумма отсутствует в чеке. Модель рассчитала ее самостоятельно: 1,8 + 1,8 = 3,6, итог 3,6.
• Идентификатор счета скрыт.
• Предоставлен журнал аудита.

Документ 3: визитная карточка

• Название: Sleepy Hollow Farm, специализация: морские минералы и сельское хозяйство.
• Скрыты имена обоих владельцев и их мобильные номера.

Документ 4: исторический счет

• Модель определила документ как счет ювелирной компании Imperial 1900 года, выставленный императору Николаю II.
• Извлечены адрес головного офиса и сведения о частных казначейских счетах.
• Указаны магазины компании: Санкт-Петербург, Москва и Одесса.
• Скрыты имя клиента и номер счета.
• Дата: 10 мая 1902 года.
• Итоговая сумма: около 14 800 рублей.
• Основные позиции извлечены корректно.
• Модель пропустила часть подписей и имен.

Документ 5: медицинский рецепт

• Модель определила документ как итальянский документ туберкулезного диспансера, описывающий протоколы госпитализации детей.
• Название извлечено корректно.
• Имя пациента и идентификатор протокола скрыты.
• Дата отображена как 10 10 61. В итоговом извлечении эта дата отсутствует.
• Текст печати извлечен, подпись скрыта.
• Модель пропустила часть числовых данных.

Общая оценка

Модель в целом справилась с задачей. На сложных документах фиксируются пропуски отдельных данных. Обработка каждого документа заняла 5–10 секунд при полностью локальном запуске.

Результаты бенчмарков

По данным материала, модель показала следующие результаты:

• более высокие результаты в стандартных тестах на математические задачи уровня начальной школы;
• прирост на 66% по сравнению с базовой моделью Q1;
• сохранение способности вызывать внешние функции и системные инструменты;
• значительный рост скорости генерации на современных процессорах ноутбуков;
• меньшее потребление заряда батареи;
• сохранение большей части способностей к сложным математическим рассуждениям;
• превосходство над базовой моделью в базовой математике, выполнении инструкций и тестах на программирование;
• сохранение около 98% интеллектуальных способностей базовой модели в задачах вызова инструментов и мультимодального анализа.

Эти результаты приведены в материале без независимой проверки.

Сценарии применения

• Обезличивание данных. Разработчики используют модель для удаления конфиденциальной информации из документов. Модель работает полностью в офлайн-режиме, данные клиентов и реквизиты не покидают систему.
• Интерактивные голосовые системы (IVR). Модель может использоваться в таких системах.
• Работа на маломощном оборудовании. Модель работает на эффективных процессорах без перегрева и требует низкого энергопотребления.
• Мобильные устройства. Модель может считывать содержимое экрана и взаимодействовать с приложениями без подключения к интернету.
• Периферийные устройства с ограниченной памятью. Квантованные версии размером менее 1 ГБ подходят для стандартных ноутбуков, телефонов и устройств с ограниченными ресурсами.
• Визуальные задачи. Для работы с изображениями к модели подключается отдельный модуль зрения.

Преимущества и ограничения

Преимущества

• Работа на маломощном оборудовании, включая старые ноутбуки, без сбоев и зависаний.
• Обработка документов без облачных серверов, полный контроль над персональными данными.
• Скорость генерации до 310 токенов в секунду на потребительских ноутбуках.

Ограничения

• Модель может формировать длинные внутренние рассуждения. Для быстрых ответов рекомендуется переключить модель в режим быстрых ответов.
• Температуру генерации следует установить на детерминированные значения. Это снижает риск повторов и логических циклов.
• Для максимальной производительности используется отдельный бэкенд на основе среды выполнения llama.cpp.
• На сложных документах возможны пропуски данных, включая числа, подписи и часть имен.