Разработка автоматизированных систем поддержки клиентов часто сопряжена с медленной обработкой данных. Однако компания Liquid AI представила модель D1, основанную на технологии нулевых токенов, которая способна мгновенно выдавать структурированные результаты без генерации избыточных токенов. В данном обзоре будет протестирована работа этой модели на примере изображений поврежденных товаров и файла с жалобами клиентов в формате JSON для генерации отчетов по запросам пользователей.

Принцип работы Liquid D1

Модель D1 от Liquid AI оценивает все входные данные за один шаг, что позволяет получать обработанные отчеты без задержек, связанных с генерацией текста. Система способна обрабатывать различные типы медиа, включая изображения и текст, одновременно, распределяя запросы по соответствующим категориям.

Liquid AI предлагает две версии модели: 3 миллиарда и 600 миллионов параметров. Обе версии функционируют исключительно как движки принятия решений и не генерируют разговорный текст, полагаясь на узлы категоризации. Такой подход исключает задержки, связанные с генерацией текста. Модель обрабатывает стандартные коды и изображения в рамках одного прохода, анализируя визуальные данные напрямую. Кроме того, система может обрабатывать значительный объем фоновой информации, позволяя отправлять длинные документы вместе с запросами для обеспечения глубокой маршрутизации. В бенчмарке Semantic Tool модель D1 показала результат в 75%, заняв первое место в категории моделей схожего веса.

Технические аспекты и установка

Для тестирования была выбрана версия модели объемом 600 миллионов параметров. Доступны различные варианты квантизации файлов, влияющие на размер загрузки и требования к оперативной памяти. Для данного обзора была выбрана 8-битная квантизация с размером загрузки 0.5 ГБ и потреблением ОЗУ от 2 до 4 ГБ. Для обеспечения визуальных возможностей также потребовались дополнительные файлы проекта. Загрузка необходимых файлов осуществляется с помощью двух команд.

Процесс работы модели включает следующие этапы:

1. Прием данных: Система принимает различные типы входных данных, включая текст, блоки кода и медиафайлы, в единое рабочее пространство.
2. Обработка изображений: Специализированный блок обрабатывает изображения, преобразуя пиксельные данные в эмбеддинги, понятные модели.
3. Анализ: Основной движок одновременно обрабатывает пакет текста и изображений, оценивая запросы параллельно без задержек.
4. Выдача результата: Система пропускает этап генерации текста, напрямую считывая данные из узлов вероятности и мгновенно выдавая структурированные ответы.

В результате модель выдает решения с нулевыми выходными токенами менее чем за 20 миллисекунд. Модель может быть сконфигурирована для различных типов ответов, включая бинарные (да/нет) для быстрой верификации или выбор из списка опций. Система присваивает вероятность каждому возможному варианту категоризации и направляет запрос в наиболее подходящую категорию. Также модель способна оценивать входные данные по заданной шкале, что позволяет ранжировать срочность или присваивать рейтинги без использования сложных промптов.

Практическое применение

Модель D1 может быть использована для автоматизации процессов верификации возвратов, анализируя изображения товаров для выявления фактических повреждений и одобрения обоснованных случаев менее чем за долю секунды. Также система подходит для маршрутизации запросов в службу поддержки, мгновенно сортируя технические и биллинговые вопросы и направляя их в соответствующие отделы. Кроме того, модель может служить защитным механизмом для ИИ-агентов, взаимодействующих с командной строкой, блокируя вредоносные инструкции до их выполнения, что снижает вычислительные затраты и повышает безопасность.

Тестирование модели

После загрузки файлов модели (GGML) они были зарегистрированы в службе Olama под названием liquid-d1. В качестве входных данных использовались изображения поврежденных продуктов (посуда, багаж) и соответствующие им сообщения от клиентов в формате JSON.

Примеры запросов включали:

• Бинарный вопрос: Определение наличия физических повреждений на фотографиях.
• Выбор категории: Определение отдела, ответственного за обработку претензии (отдел замены хрупких изделий, отдел опасных приборов, команда логистики багажа).
• Оценка серьезности ущерба: Присвоение приоритета жалобе на основе шкалы (незначительная царапина, единичное повреждение, множественные повреждения, опасность).

При запросе к модели liquid-d1 передавались путь к изображению и сообщение пользователя. Модель загружала изображение, считывала сообщение и заданные вопросы, а затем выдавала ответ. На основе полученных результатов извлекалась вероятность повреждения, назначенная команда, уверенность в назначении, оценка серьезности и время генерации ответа. Поскольку модель не генерирует текстовые ответы, для каждого отдела были определены базовые варианты ответов.

Результаты тестирования и бенчмарки

Запуск основного скрипта main.py показал, что модель проанализировала пять изображений в среднем за 100 миллисекунд каждое.

• Тарелки: Отнесены к отделу замены хрупких изделий с оценкой серьезности 2.6 из 3 и вероятностью повреждения около 100%.
• Чашка и блюдо: Аналогично отнесены к отделу замены хрупких изделий с вероятностью повреждения около 100%.
• Варочная панель: Отнесена к отделу опасных приборов с соответствующим сообщением о замене и возврате средств.
• Багаж: Корректно отнесен к команде логистики багажа с сообщением о приоритетном оформлении претензии.

Таким образом, модель выдала решения и оценки серьезности для всех проблем менее чем за 0.5 секунды, обрабатывая визуальные и текстовые данные одновременно и генерируя нулевые выходные токены в среднем за 0.1 секунды.

В официальных бенчмарках модель D1-3B показала высокие результаты в задачах выбора инструментов, опередив системы в четыре раза большего размера. Версия 600M эффективно анализирует тональность текста, лидируя в категории модерации онлайн-дискуссий и превосходя модели в восемь раз большего веса.

Варианты развертывания

Для локального развертывания доступны различные варианты:

• 8-битная версия: Размер загрузки 3 ГБ, оптимизирована для сред Llama CPP и OAMA.
• 4-битная квантизация: Размер около 2 ГБ, подходит для мобильных устройств.
• Несжатые базовые модели: Требуют около 8 ГБ видеопамяти для максимальной производительности.

Преимущества и ограничения

Основным преимуществом модели является отсутствие задержек обработки, что позволяет ей заменять более крупные модели (7-70B) в задачах маршрутизации. Однако следует учитывать, что D1 является исключительно классификационным движком и не может генерировать код или составлять письма. Модель предназначена для получения структурированных метрик вероятности.

Заключение

Liquid D1 представляет собой эффективное решение для мгновенной структурированной маршрутизации и фильтрации безопасности без высоких вычислительных затрат традиционных текстовых моделей. Модель может выступать в качестве первого уровня защиты в архитектуре приложений, анализируя входящие запросы, проверяя их на соответствие правилам безопасности и активируя основной движок обработки только при необходимости, что значительно снижает затраты на вычисления.

Для настройки и запуска проекта доступны файлы с кодом и документацией по первой ссылке в описании и закрепленных комментариях.