Компания Liquid AI представила гибридный движок для своей модели LFM 2.5, который активирует всего 2 миллиарда параметров для каждой вычислительной задачи. Это позволяет достичь высокой скорости обработки при низких затратах на вычисления, что ранее требовало дорогостоящего оборудования. В данной статье рассматриваются ключевые особенности модели и результаты ее тестирования на шести сложных сценариях использования.

Архитектура и производительность

Модель LFM 2.5 имеет общий объем в 24 миллиарда параметров, однако в процессе работы задействуется лишь их часть. Даже при активации 2 миллиардов параметров модель демонстрирует впечатляющие результаты: достигает показателя 48 баллов на комплексных агентных бенчмарках, что значительно превосходит версию Q1 с 35 миллиардами параметров.

При использовании процессора Apple M5 скорость генерации токенов достигает 184 токенов в секунду. Средние конфигурации оборудования способны поддерживать скорость генерации 64 токенов в секунду. Модель обладает большим контекстным окном, вмещающим более 100 000 токенов, а общий объем данных, на которых обучалась модель, составляет 36 триллионов токенов.

Тестирование модели

Тестирование проводилось на онлайн-платформе playground.lquid.ai, позволяющей использовать модель без необходимости локальной установки. Было предложено шесть различных сценариев использования, запущенных параллельно.

Тест 1: Анализ инвентаря и визуализация

Первый тест проверял способность модели к анализу данных и созданию визуализаций. Модели был предоставлен список объектов на складе с требованием рассчитать количество единиц каждого объекта и его процент от общего инвентаря. Затем требовалось создать визуальную гистограмму с использованием текстовых символов для отображения количества единиц каждого объекта. В завершение необходимо было сгенерировать тепловую карту в виде текстовой сетки 10x85, где каждый тип инвентаря представлен уникальным символом, а сетка заполнена последовательно для визуального отображения занимаемого пространства. Модель успешно справилась с задачей, предоставив таблицу с количеством единиц и процентным соотношением, горизонтальную гистограмму и тепловую карту с уникальными символами для каждого объекта. Также было предоставлено подробное объяснение распределения объектов по сетке.

Тест 2: Создание HTML-дашборда

Второй тест заключался в генерации полноценного HTML-дашборда с чистым CSS-стилем, без использования внешних фреймворков, таких как React или Vue. Дашборд должен был включать боковую панель слева и основную область контента. Приложение предназначалось для отслеживания проектов, с возможностью ввода названия проекта и оставшихся часов. После нажатия кнопки "Submit" данные должны были мгновенно обновляться в динамической HTML-таблице. Модель успешно создала динамический HTML-дашборд, который обновлялся при вводе данных.

Тест 3: Реализация "Игры Жизнь" на Python

Третий тест требовал реализации "Игры Жизнь" на Python с выводом в терминал. Необходимо было создать классический паттерн "глайдер" и осциллятор "блинкер" в сетке 20x40, с паузами в 0.2 секунды между поколениями. Живые клетки должны были отображаться как квадратные блоки, а мертвые — как точки. При выходе за границы сетки объекты должны были автоматически переноситься на противоположную сторону. Модель сгенерировала Python-скрипт, который корректно отображал "Игру Жизнь" в терминале с правильной обработкой границ.

Тест 4: Создание Kanban-доски

Четвертый тест заключался в создании Kanban-доски для отслеживания задач с статусами "todo", "in progress" и "done". Требовалась возможность динамического перемещения карточек между колонками с помощью кнопки "move right". Все элементы, включая HTML, CSS и JavaScript, должны были быть объединены в одном файле без внешних зависимостей. Модель успешно реализовала функционал Kanban-доски, позволяя добавлять задачи и перемещать их между статусами в рамках одного HTML-файла.

Тест 5: Создание векторной диаграммы

Пятый тест требовал создания векторной диаграммы для приложения отслеживания состояния проекта. Диаграмма должна была включать полный дугу от 0 до 100 с тремя цветовыми зонами (красная, желтая, зеленая) и стрелку, указывающую на текущее значение 78%. Также требовалось добавить текстовые метки для 0, 100 и 78%. Модель создала диаграмму с указанными зонами и стрелкой, хотя форма дуги могла бы быть более полукруглой.

Тест 6: Генерация синусоиды в терминале

Шестой тест заключался в создании Python-скрипта для генерации синусоиды в терминале с использованием только символов звездочки. Требовалось отобразить анимацию волны, текущей вертикально, с заданной амплитудой, временем цикла и использованием символа звездочки для отрисовки кривой. Модель успешно сгенерировала синусоиду в терминале, используя только звездочки и корректно отобразив два полных цикла.

Архитектура движка

Входной слой движка поддерживает большие контекстные окна и имеет размер словаря 128 000 слов, что позволяет модели понимать различные языки. Внутренняя обработка использует двойные сверточные слои с коротким путем, заменяющие стандартные большие трансформерные блоки, что снижает потребление памяти на 75%. Система маршрутизации управляет 64 экспертными моделями, выбирая четыре лучшие для конкретной задачи, что обеспечивает активацию всего 2 миллиардов параметров. Движок использует прямой процесс "цепочки мыслей" для точного выполнения инструментов и получения результатов. Температура установлена на низком уровне (0.1), а параметр top-k ограничивает выбор до 50 кандидатов, что обеспечивает логичность и стабильность работы.

Бенчмарки и сравнение

Бенчмарки показывают, что модель достигает 28% на тестах автоматизации лабораторий, что в 3.22 раза выше, чем у Q1 35B. На тестах агентного поведения модель набирает 48 баллов, превосходя Q1 35B, Google Jama 4 и Nvidia Neotron на 26%. Показатель соответствия инструкциям составляет 97%. В тестах вызова функций модель набирает более 80%, опережая конкурентов.

Однако в областях научного рассуждения, математических доказательств и исправления кода версия Q1 35B незначительно превосходит LFM 2.5. Тем не менее, по большинству других бенчмарков LFM 2.5 демонстрирует превосходство, активируя всего 2 миллиарда параметров.

Локальная установка и требования

Модель доступна для локальной установки. 4-битная квантованная версия имеет размер 14 ГБ и требует 12-16 ГБ видеопамяти. Версия с частичной выгрузкой в ОЗУ требует 6 ГБ видеопамяти и 16 ГБ ОЗУ. Для мобильных устройств доступны 2-битные квантованные версии размером около 10 ГБ, требующие 8-12 ГБ видеопамяти. Локальная установка осуществляется с помощью команды llama CPP с указанием файла GGF и конфигурации, включая repeat penalty 1.05 и flash attention для больших контекстов. 4-битная квантизация сохраняет точность исходной модели.

Преимущества и недостатки

Преимущества:

• Высокая скорость обработки: до 186 токенов/сек на RTX3090 и 64 токенов/сек на CPU.
• Отсутствие избыточной сложности: модель не требует внешних зависимостей для создания веб-дашбордов.
• Прозрачность: все бенчмарки опубликованы онлайн.

Недостатки:

• Чувствительность к температуре: значения выше 0.5 могут вызывать галлюцинации. Температура должна быть строго между 0.1 и 0.2.
• Ограниченная креативность: модель ориентирована на аналитические и логические задачи, уступая в креативном письме и повествовании моделям вроде Jamma 26B.
• Лицензия: модель распространяется под проприетарной лицензией Liquid AI Openweight, а не под стандартными открытыми лицензиями.

Модель LFM 2.5 A2B от Liquid AI предлагает мощные возможности для работы с агентами и сложными рассуждениями на бюджетном оборудовании. Для получения дополнительной информации, включая спецификации, требования к оборудованию и использованные промпты, следует обратиться к документации по ссылке в описании.