Новая модель MiniCPM-V версии 4.7 представляет собой значительный прорыв в области локальных систем искусственного интеллекта, способных обрабатывать визуальные данные. Разработанная с акцентом на минимальные аппаратные требования, эта модель с 1 миллиардом параметров позволяет выполнять задачи компьютерного зрения непосредственно на периферийных устройствах, исключая необходимость в дорогостоящих облачных серверах или мощных графических процессорах.

Ключевые особенности и преимущества

Основное внимание при разработке MiniCPM-V 4.7 уделялось оптимизации производительности и снижению потребления ресурсов.

• Компактный размер: Общий размер загрузки модели составляет чуть более 1 ГБ, что позволяет легко хранить ее на стандартных жестких дисках.
• Эффективное сжатие токенов: Модель использует от 4 до 16 раз меньше токенов для сжатия визуальных данных, что значительно ускоряет обработку.
• Архитектура Google: В качестве базовой архитектуры используется современная разработка Google, обеспечивающая точное сопоставление визуальных данных.
• Низкие аппаратные требования: Модель оптимизирована для работы на потребительских устройствах, требуя всего 2 ГБ ОЗУ для 8-битной квантованной версии и не нуждаясь в графическом процессоре. Для мобильных устройств доступна 4-битная квантованная версия размером менее 1 ГБ с потреблением 1 ГБ вычислительной мощности. Для максимальной точности предусмотрена 16-битная версия, требующая более 3 ГБ видеопамяти и выделенной графической карты.

Процесс обработки изображений

MiniCPM-V 4.7 использует многоэтапный процесс для анализа входных изображений:

1. Разделение на плитки: Входное изображение делится на 36 четких плиток для предотвращения искажений и сохранения пропорций.
2. Извлечение признаков: Используя архитектуру Transformer от Google, из каждой плитки извлекаются смысловые признаки и визуальные паттерны, которые затем преобразуются в структурированные данные.
3. Фильтрация избыточной информации: Система отбрасывает ненужную информацию, что снижает нагрузку на обработку и экономит вычислительные ресурсы и память.
4. Генерация текста: Языковая модель Qwen 3.6 base преобразует визуальные токены в осмысленные предложения, предоставляя ответ за короткое время, обычно менее 1.5 секунд.

Режимы работы

Модель предлагает два основных режима для сжатия данных, ориентированных на различные сценарии использования:

• Режим скорости (Speed Mode): Обеспечивает агрессивное сжатие данных до 16 раз, что приводит к максимальной скорости генерации при некоторой потере мелких деталей. Этот режим идеально подходит для обработки длинных видеопотоков или потоков данных с камер безопасности, так как он снижает использование системной памяти более чем вдвое и предотвращает сбои на стандартных компьютерах.
• Режим точности (Precision Mode): Сохраняет в 4 раза больше визуальной информации, обеспечивая более высокую детализацию и точность. Этот режим рекомендуется для сканирования плотных документов, включая сложный текст и код. Он устраняет "галлюцинации" модели, характерные для стандартных инструментов обработки изображений, и гарантирует получение точных числовых данных. Активация этого режима осуществляется путем добавления специального флага в скрипт Python.

Локальное развертывание и тестирование

Для локального запуска модели используется сервис Ollama. После загрузки файла модели в формате GGML (доступны варианты от 600 МБ до 2 ГБ для квантованных версий, оригинальная модель весит 3 ГБ) и создания пользовательского файла модели, который ссылается на GGML-файл и определяет структуру чата, модель регистрируется под именем MiniCPM v4.7.

В рамках тестирования модели были поставлены четыре задачи:

1. Обработка чека: Извлечение названия магазина, даты, списка товаров с ценами и итоговой суммы из изображения чека store_receipt.jpg.
2. Объяснение оптического явления: Интерпретация изображения с оптической рефракцией, описание физического принципа и поведения лучей света на границе раздела сред (воздух-вода).
3. Анализ бенчмарка: Интерпретация графика производительности, определение лидирующей модели в масштабе 1 миллиарда параметров по критерию Парето-эффективности и объяснение причин.
4. Сравнительный анализ изображений: Сравнение изображения городской улицы и изображения с оптической рефракцией, идентификация ключевых объектов и применение принципов рефракции к камерам в реальных условиях.

Результаты анализа сохраняются в файл outputs.markdown.

Производительность и результаты тестирования

Модель продемонстрировала впечатляющие результаты:

• Скорость: Общее время обработки четырех изображений составило всего 5 секунд, при этом генерация ответов заняла около 1 секунды. Задержка первого сгенерированного слова (latency) на 40% ниже, чем у предыдущих конкурентов.
• Точность: Модель успешно справилась со всеми задачами.
  • Чек: Корректно извлечены название магазина (Coop Supermarket AG), дата (2024-05-18, 14:32:11), номер чека (49208812), позиции товаров с ценами и итоговая сумма (15.5), а также способ оплаты (contactless debit card Visa).
  • Рефракция: Точно описаны оптическая рефракция и закон Снеллиуса, включая преломление света при переходе из более редкой среды в более плотную (угол преломления θ2 меньше угла падения θ1) и частичное отражение, подчиняющееся закону отражения.
  • Бенчмарк: MiniCPM-V 4.7 идентифицирована как лидер по Парето-эффективности, превосходящая Qwen 3.5 B по производительности при значительно меньшем времени инференса (на 40% меньше). Модель демонстрирует лучшую точность и скорость генерации в реальном времени по сравнению с более крупными моделями.
  • Сравнительный анализ: Модель корректно описала городскую улицу с движущимися транспортными средствами, отражающими стеклами и уличным освещением. Была проведена аналогия с оптическим отражением и преломлением света в стекле (например, лобовом стекле автомобиля), объяснено, как капли дождя на ветровом стекле могут искажать восприятие расстояния до объектов из-за преломления света, и подчеркнута необходимость калибровки датчиков для точной оценки расстояния.

Ограничения и рекомендации

Несмотря на высокую производительность, MiniCPM-V 4.7 имеет некоторые ограничения:

• Сложные математические задачи: Модель не предназначена для решения сложных математических задач, требующих архитектур с более чем 35 миллиардами параметров.
• Формат промптов: Для получения наилучших результатов необходимо использовать стандартные шаблоны промптов.
• Обработка видео: Для прямой обработки видеофайлов требуется использование специализированных библиотек Python, несовместимых со стандартными пакетами обработки медиа Torch.

Заключение

MiniCPM-V 4.7 представляет собой мощный и доступный инструмент для локальной обработки визуальных данных. Его компактный размер, низкие аппаратные требования и высокая точность делают его идеальным решением для разработчиков, стремящихся создавать приватные офлайн-системы компьютерного зрения. Модель успешно трансформирует неструктурированные изображения и видео в структурированные данные, открывая новые возможности для практических AI-приложений.