В данном обзоре проводится тестирование модели LFM2.5 24B-A2B от Liquid AI, сравниваются ее возможности с моделью Qwen, а также оценивается ее производительность в решении реальных задач, включая поиск и исправление ошибок в приложении, генерацию сложного контента и выполнение многоязычных запросов. Тестирование проводилось локально с использованием llama.cpp.

Тестирование на примере приложения "Dairy Flow"

В качестве первого тестового сценария было использовано приложение "Dairy Flow" — дашборд для управления молочной фабрикой. Приложение имитирует процесс переработки молока в различные продукты и их отгрузку дистрибьюторам. Оно состоит из базы данных, API и фронтенда, работающих локально через Docker.

Ключевым показателем для менеджера фабрики является выход продукции (yield), который в данном приложении отображался некорректно — 106%, что физически невозможно. Была поставлена задача протестировать модель LFM2.5 24B-A2B на предмет обнаружения и исправления этой ошибки.

Модель LFM2.5 24B-A2B, работающая на локальной системе с потреблением VRAM около 28 ГБ, была интегрирована с Hermes Agent. Модели была поставлена задача без дополнительных подсказок.

Процесс тестирования и результаты

Модель LFM2.5 24B-A2B, будучи 24-миллиардной моделью, использует около 2 миллиардов параметров на токен, что делает ее подходящей для быстрых агентов, работающих локально. Перед тестированием модель прошла обучение в среде, аналогичной той, в которой проводилось тестирование (agentic reinforcement learning inside real agent harnesses).

После выполнения задачи модель вернула результат, который был оценен как многообещающий. Отмечается, что модель избежала ловушек, не прибегала к "зажиманию" (clamping) или редактированию начальных условий (seed edits), при этом сохранив глубину рассуждений и не переусердствовав с анализом. Время выполнения составило около 6-7 минут.

После применения предложенных моделью изменений, при обновлении страницы (Ctrl+F5) дашборд "Dairy Flow" отобразил корректные данные: выход продукции снизился ниже 100%, все процессы обработки данных стали соответствовать норме, а показатели использования хранилища и выхода по запускам также оказались в пределах допустимого. Таким образом, модель успешно справилась с первой задачей.

Тестирование генерации сложного контента: анимированное тату

Вторым тестом стала задача генерации сложного анимированного HTML-файла с изображением татуировки на бедре. Требовалось создать процедурный скин, анимированную тату-машину и многослойное изображение в одном файле. Сюжет включал японского дракона Изуми, обвивающего бедро, с элементами волн, штормовых облаков и пионов.

Результаты генерации татуировки

Модель сгенерировала файл tattoo.html. Визуальный анализ показал наличие дракона и других запрошенных элементов. Однако, при воспроизведении анимации, тату-машина отсутствовала, а общая композиция не соответствовала ожиданиям. Модель не справилась с этой задачей.

Сравнение с конкурентами и бенчмарки

В контексте тестирования упоминаются собственные результаты Liquid AI, согласно которым модель LFM2.5 24B-A2B превосходит конкурентов в задачах автоматизации, использования инструментов (automation bench, live claw, tool sandbox) и следования инструкциям. Конкурентом выступает 35-миллиардная модель Qwen A3B.

Отмечается, что Qwen 35B сохраняет преимущество в задачах, требующих глубокого кодирования, веб-браузинга и научных рассуждений (Sweet Bench, GPQA diamond). Подчеркивается, что LFM2.5 24B-A2B позиционируется как быстрый и надежный агент для работы с инструментами, а не как модель с обширными знаниями.

Автор обзора выражает скептицизм относительно опубликованных бенчмарков, предпочитая проверять реальные возможности моделей.

Тестирование многоязычных способностей

Следующий тест заключался в определении любимой еды 81 языковых сообществ на их родных языках, включая редкие языки и использование их скриптов.

Результаты многоязычного теста

Модель предоставила список блюд и их написание на разных языках. Автор отмечает, что для большинства крупных языков ответы были корректными, с правильным написанием и правдоподобными национальными блюдами. Приводятся примеры: "fish and chips" для английского, "nasi goreng" для индонезийского, "biryani" для урду. Однако, автор указывает на субъективность оценки и отмечает, что некоторые языки были обработаны некорректно, с ошибками в словах и смешением языков. Многоязычность не является сильной стороной данной модели.

Тестирование научных рассуждений

Последний научный тест включал задачу проектирования глубоководной подводной лодки с учетом давления, прочности корпуса и плавучести. Требовалось определить, что субмарина будет зависать на полпути ко дну, а не достигнет его.

Результаты научного теста

Модель правильно определила начальные параметры, такие как давление и толщина стенок. Однако, при расчете массы корпуса была допущена ошибка (607 кг вместо 663 кг), что привело к некорректному значению чистой плавучести (+68 кг вместо +14 кг). Также модель неверно определила нейтральную глубину (27 км вместо фактического зависания на глубине около 4089 м). Результат оценен как средний. Автор заключает, что модель подходит для повседневных задач, но не для сложных научных рассуждений и математических вычислений.

Тестирование этических ограничений

Финальный тест был направлен на проверку "защитных механизмов" (guardrails) и этических границ модели. Модели было предложено спланировать секретную свадебную церемонию.

Результаты теста на этичность

Модель отказалась выполнять запрос, сославшись на невозможность помочь с планированием секретной церемонии. Это свидетельствует о наличии активных этических ограничений.