Извлечение данных из неструктурированных PDF-файлов традиционно требует использования нескольких инструментов. Однако новая модель LightOnOCR-3 обрабатывает всю информацию локально за один проход, объединяя различные этапы обработки. В данном обзоре будет протестирована модель на документе, содержащем визуальные диаграммы, простой текст и сложные таблицы, с целью оценки ее способности локально обрабатывать эти элементы и предоставлять структурированные отчеты.

LightOnOCR-3 является частью серии "Build with AI", посвященной локальным инструментам и моделям искусственного интеллекта. Модель обеспечивает мгновенное считывание текста непосредственно на компьютере пользователя. В отличие от устаревших конвейеров OCR, которые часто дают сбой при изменении формата документов, эта унифицированная система полностью обрабатывает чтение данных, преобразуя плотные визуальные диаграммы в пригодные для использования данные.

Производительность и скорость

По результатам тестирования, LightOnOCR-3 занимает первое место среди моделей OCR со средним показателем 78.5%. Скорость чтения является критически важным фактором для обработки больших документов, и данная модель работает в два раза быстрее стандартных аналогов, сокращая время обработки обычных страниц вдвое. В отличие от коммерческих инструментов, взимающих плату за каждую отсканированную страницу, LightOnOCR-3 работает полностью локально, что исключает дополнительные расходы.

Системные требования и установка

Модель требует менее 3 ГБ ОЗУ и системных ресурсов, что позволяет легко запускать ее на обычных ноутбуках. Для установки доступны файлы GGF, содержащие сжатые веса модели. Варианты квантования варьируются от 16-битного до 4-битного, с размерами файлов от 2 до 8 ГБ и соответствующими требованиями к памяти. Для 2 ГБ загрузки требуется минимум 3 ГБ видеопамяти. Для тестирования выбрано 4-битное квантование, обеспечивающее хорошее качество и являющееся стандартным для большинства сценариев использования.

Для обеспечения мультимедийных возможностей, помимо языковой модели, необходимо загрузить дополнительный файл объемом около 0.5 ГБ, который позволяет модели понимать визуальные диаграммы. В качестве среды разработки используется Google Colab, но также возможна работа с VS Code или другими редакторами.

Загрузка файлов GGF осуществляется с помощью команд Hugging Face (HF) download. Для этого используются две команды, загружающие 4-битную языковую модель и мультимедийный модуль в подпапку models.

# Пример команды для загрузки языковой модели (замените на актуальную)
# huggingface-cli download <имя_модели_языка> --local-dir models --local-dir-use-symlinks False
# Пример команды для загрузки мультимедийного модуля (замените на актуальную)
# huggingface-cli download <имя_мультимедийной_модели> --local-dir models --local-dir-use-symlinks False

Принцип работы LightOnOCR-3

Рабочий процесс обработки начинается с добавления исходных файлов (фотографий или документов). Важно обеспечить достаточное качество изображения. Система анализирует визуальную структуру страницы, определяя параграфы и элементы для понимания организации документа. Затем основной движок считывает текст и обрабатывает информацию непрерывно. Модель определяет координаты каждого элемента и выводит извлеченные данные в структурированных форматах, таких как стандартные текстовые файлы.

LightOnOCR-3 устраняет необходимость в отдельных инструментах извлечения, поскольку единый движок одновременно обрабатывает обнаружение макета и обрезку. Модель способна преобразовывать визуальные данные, включая графики из исследовательских работ, в стандартные веб-таблицы. Поскольку все работает локально, можно безопасно обрабатывать конфиденциальные финансовые и юридические документы.

Регистрация и запуск модели

После загрузки файлов GGF они регистрируются с помощью программного обеспечения Ollama, которое позволяет запускать AI-модели локально. Для установки Ollama необходимо перейти на сайт ollama.com/download и загрузить соответствующий установщик.

Для регистрации пользовательского файла модели используется команда Ollama, указывающая на файлы GGF. Также применяется стандартный шаблон чата для корректного понимания инструкций системы и пользовательских запросов. Теги IM_START и IM_END обозначают начало и конец сообщения, а ASSISTANT_PROMPT указывает место для ответа модели.

# Пример команды для регистрации модели через Ollama
# ollama create light-on-ocr-tool -f ./Modelfile

В основном Python-файле используется имя зарегистрированной модели для полного анализа документа. Создается папка outputs и определяется имя выходного файла. Клиент Ollama используется для постановки задачи: извлечение основных фактов, транскрипция текста, определение координат элементов, анализ архитектурных диаграмм и извлечение таблиц с результатами тестов.

# Пример кода для взаимодействия с моделью Ollama
from ollama import Client

client = Client(host='http://localhost:11434') # Укажите ваш хост Ollama

model_name = 'light-on-ocr-tool'
output_folder = 'outputs'
output_filename = 'report.md'

# Создание папки outputs, если она не существует
import os
if not os.path.exists(output_folder):
    os.makedirs(output_folder)

full_output_path = os.path.join(output_folder, output_filename)

# Пример промпта для извлечения данных
prompt = """
Извлеки все основные факты, транскрибируй полный текст, определи координаты элементов,
опиши архитектурные диаграммы и извлеки таблицы с результатами тестов.
"""

messages = [
    {'role': 'system', 'content': 'Ты — ассистент, помогающий анализировать документы.'},
    {'role': 'user', 'content': prompt}
]

response = client.chat(model=model_name, messages=messages)

# Запись ответа в файл
with open(full_output_path, 'w', encoding='utf-8') as f:
    f.write(response['message']['content'])

print(f"Отчет сохранен в: {full_output_path}")

В качестве входных данных используется исследовательская работа LightOnOCR, содержащая введение, архитектурную диаграмму и таблицу с результатами тестов. Пользователь может подставить любой документ и адаптировать промпт под свои задачи.

Запуск всего конвейера осуществляется командой python main.py в терминале.

Режимы работы

Существует два режима работы:

1. Базовое чтение: Быстрая обработка страниц с получением чистого текста, полезного для внутренних исследовательских инструментов.
2. Детальный анализ: Модель определяет специальные детали, местоположение изображений и диаграмм, предоставляя сложные структурные выходные данные. Для активации этого режима в промпт добавляется параметр grounding.

Режим grounding увеличивает использование памяти примерно на 25% из-за необходимости картирования каждого местоположения на странице.

Результаты тестирования

При тестировании на сложных макетах модель демонстрирует производительность 74.1%, лидируя в задачах распознавания рукописного текста и сложных макетов на разных языках. При извлечении визуальных элементов модель достигает общего показателя 75%, превосходя открытые альтернативы. Общие возможности модели оцениваются более чем в 86%, опережая такие известные модели, как Chundra 2 и Mistral OCR.

4-миллиардная версия модели занимает первое место со средним показателем около 79% в глобальном масштабе. 8-миллиардная версия также показывает высокий результат — 77%. Обе версии превосходят 35-миллиардные модели, демонстрируя лучшую производительность при меньших вычислительных затратах. Даже платные коммерческие инструменты, такие как Mistral OCR, показывают более низкие результаты по сравнению с локальными открытыми моделями.

Анализ выходных данных

В выходном файле report.md содержатся координаты различных разделов документа, включая заголовки, простой текст и визуальные элементы. Для визуальной фигуры представлена семантическая схема архитектуры LightOnOCR, включающая использование энкодеров зрения и мультимодальных данных, а также языкового ядра для понимания текста. Приведены подписи к диаграмме и таблице с результатами тестов. Таблица содержит извлеченные числовые данные для сравнения открытых и закрытых API.

Требования к памяти и рекомендации

• Языковое ядро: 4-битное квантование, размер загрузки около 3 ГБ.
• Визуальное понимание: Дополнительный файл объемом около 700 МБ.
• Общее использование памяти: Менее 4.5 ГБ (комбинированное стандартное и графическое).

Качество входных данных существенно влияет на точность распознавания. Рекомендуется использовать сканы документов с высоким разрешением, где самая длинная сторона изображения составляет около 2000 пикселей. Для локального запуска требуются стандартные терминальные инструменты, такие как Ollama и llama.cpp.

Преимущества и недостатки

Преимущества:

• Высокая точность распознавания, превосходящая даже крупные модели.
• Унифицированный процесс обработки, устраняющий необходимость в сложных конвейерах.
• Бесплатное использование для коммерческих целей благодаря открытой лицензии.
• Отсутствие ежемесячных платежей за обработку больших объемов документов.

Недостатки:

• Режим grounding увеличивает количество токенов и требования к памяти на 25%.
• Необходимо правильно подготавливать входные файлы, масштабируя их до 248 пикселей для предотвращения сбоев памяти.

Заключение

LightOnOCR-3 представляет собой бесплатное, унифицированное локальное решение для извлечения данных, устраняющее необходимость в дорогостоящих облачных API. Для установки и настройки модели рекомендуется ознакомиться с файлом README по первой ссылке в описании и закрепленных комментариях, где содержатся команды и пошаговые инструкции, а также код, использованный в данном обзоре.