Flint 40B by Recursive: Fast Local Coding AI Tested

21 окт. 2026 г.

Read: ~4m · You save: 4 min

Flint 40B от Recursive: быстрый локальный ИИ для программирования, тест

Flint 40B от Recursive — быстрый открытый локальный ИИ для кодинга. Запускаем через Ollama, тестируем на веб-странице и рассказе, разбираем бенчмарки.

Обзор

Recursive SI выпустила Flint — свою первую модель. Компания описывает Flint как самую быструю локальную модель для программирования, созданную с помощью её автоматизированной исследовательской системы Eureka machine. Flint — открытая модель, предназначенная для одной функции: служить ядром рассуждений для агента-программиста.

Характеристики модели

Атрибут	Значение
Архитектура	Смесь экспертов (Mixture of experts)
Общее количество параметров	Около 40 миллиардов
Активные параметры на токен	Около 2,5 миллиарда
Возможности	Рассуждение и вызов инструментов в несколько шагов диалога
Контекстное окно	262K токенов
Лицензия	Apache 2.0
Доступные форматы	GGUF в INT4, с дополнительными квантованиями на Hugging Face

Заявленная компанией цель — простой рабочий процесс: изучить кодовую базу, исправить ошибку и написать тест.

Локальная установка

Автор запустил Flint локально через Ollama. Процесс установки состоял из двух шагов:

Установить последнюю версию Ollama.
Загрузить модель.

Flint также работает с LM Studio, llama.cpp, vLLM и SGLang.

Во время теста модель использовала чуть более 32 ГБ видеопамяти (VRAM). Пользователи могут снизить потребление VRAM, уменьшив размер KV-кэша.

Запуск полноточной версии на одном GPU требует более 80 ГБ VRAM. Автор отмечает, что у большинства пользователей нет оборудования такого уровня.

Тесты производительности

Тест по программированию: страница с донером

Автор создал веб-страницу без Hermes Agent или какой-либо другой среды для программирования. По запросу была получена страница, на которой вертел��я вертел дёнер перед стеной из газовых горелок. Модель завершила страницу за 7 минут.

Результат включает:

Небольшие синие основания пламени под каждой горелкой
Стекающий жир
Струйку дыма
Кнопку, которая выводит строку с похвалой на 81 языке

Автор оценил результат следующим образом:

Пламя выглядит хорошо.
Визуальная точность невысокая.
Вертел вращается.
Конус выглядит приемлемо.
Текстура мяса отсутствует.

Автор также попросил модель извлечь данные из текста и поместить их на вкладку внутри файла. Модель правильно создала вкладку. Структура HTML и CSS была оценена как хорошо организованная.

Автор утверждает, что Flint является моделью для программирования, а не универсальной языковой моделью. Попытка выполнить нерелевантную для программирования языковую задачу провалилась. Автор не рекомендует использовать Flint для научных рассуждений, творческого письма или подобных задач.

Тест творческого письма

Автор попросил модель написать историю о ребёнке и динозавре, которые отправляются в приключение. Модель создала историю без сбоев. Автор оценивает результат как посредственный. Для модели с 40 миллиардами параметров автор считает результат приемлемым, учитывая, что модель не позиционирует себя как автора художественных текстов.

Результаты бенчмарков

Следующие результаты взяты из карточки модели и бенчмарков производителя, проведённых на Apple M4 Pro. Автор отмечает, что бенчмарки делают акцент на оборудовании Apple.

Качество и скорость

Flint находится на границе оптимального соотношения качества и скорости.
Только Qwen 3.8 27B показывает более высокий результат, но работает при доле скорости Flint.
Каждая другая модель на графике уступает Flint либо по качеству, либо по скорости.
На графике представлена Muse Glimmer, недавняя модель, тогда как остальные модели являются более старыми.

Чистая скорость

MLX-версия Flint превышает 100 токенов в секунду при коротком контексте на M4 Pro.
Версия для llama.cpp работает почти так же быстро.
На системе RTX Spark версия NVFP4 работает ещё быстрее.
Разреженные модели сопоставимого размера работают медленнее. Быстрее работают только самые маленькие плотные модели.

Сравнение с семейством Qwen и другими моделями

Flint превосходит разреженные модели сопоставимого размера в тесте агентного программирования.
Flint демонстрирует особую сильную сторону в следовании инструкциям.
Более крупная плотная модель Qwen 3.8 по-прежнему лидирует в самых сложных задачах по работе с терминалом и программной инженерии.

Квантизация

Согласно графику, версия NVFP4 почти не теряет в точности по сравнению с полной точностью. Производитель рекомендует компактную сборку.

Среда выполнения для рекурсивного вывода

Recursive также выпустила специализированную среду выполнения для инференса под названием Rec. Rec оптимизирована для Flint на Apple silicon. Она объединяет весь проход декодирования в одно пользовательское ядро Metal.

По словам компании, Rec обеспечивает в 1,4–2,6 раза больше токенов в секунду, чем llama.cpp, включая случаи очень длинного контекста. Автор не тестировал Rec, так как у автора нет доступа к машине Apple. Описание автор основывает на репозитории GitHub и дополнительной документации.

Оценка

Автор считает Flint впечатляющим для задач программирования. Автор сообщает, что модель быстро выдала работающий результат для протестированного репозитория. Автор заявляет, что Recursive должен поддерживать дополнительные аппаратные архитектуры помимо экосистемы Apple.

Введение в Flint

Recursive SI выпускает Flint, свою первую модель, которую описывают как самую быструю локальную модель для программирования, созданную с помощью их системы автоматизированных исследований Eureka machine.

Flint — первая модель Recursive SI
Описывается как самая быстрая локальная модель для программирования
Создана с помощью их системы автоматизированных исследований — машины Eureka
Открытая модель, созданная для одной задачи: быть мозгом агента программирования

Архитектура модели и технические характеристики

Flint — это модель типа «смесь экспертов» (mixture-of-experts) с примерно 40 млрд параметров в сумме, из которых на каждый токен активируется около 2,5 млрд. Она умеет рассуждать, вызывать инструменты в несколько ходов, имеет контекстное окно 256K и распространяется по лицензии Apache 2.0.

Смесь экспертов, около 40 миллиардов параметров в сумме
Около 2,5 миллиарда параметров активны на каждый токен
Рассуждает и вызывает инструменты в несколько ходов
Контекстное окно 256K (записано как '260 2K')
Выпущена под лицензией Apache 2.0
Выпущена версия GGUF в INT4; другие квантования доступны на Hugging Face

Локальная установка и запуск

Автор запускает Flint локально через Ollama, используя около 32 ГБ VRAM, которую можно уменьшить, сократив KV-кэш. Поддерживаемые среды выполнения включают LM Studio, llama.cpp, vLLM и SGLang.

Установка через Ollama: установите последнюю версию Ollama, затем загрузите модель
Использование VRAM чуть более 32 ГБ во время работы
VRAM можно уменьшить, сократив KV-кэш
Также можно использовать с LM Studio, llama.cpp, vLLM и SGLang
Запуск без квантования требует более 80 ГБ VRAM на одном GPU, которых, по словам докладчика, у большинства людей нет

Тест по программированию: страница с донер-кебабом

Flint создал веб-страницу с донер-кебабом: языки пламени, вращающийся шампур, стекающий жир, дым и кнопку похвалы на 81 языке примерно за 7 минут. HTML-разметка и CSS выглядели хорошо, но текстура мяса была слабой. Перевод не удался, потому что Flint не является языковой моделью.

Страница с донер-кебабом создана без Hermes Agent или какого-либо программного харнесса
Создана за 7 минут
Включает синие огненные основания, стекающий жир, дым и кнопку, которая показывает похвалу на 81 языке
Шампур вращается, конус выглядит нормально, текстура мяса слабая
HTML-разметка и CSS были довольно хорошими
Извлечение данных во вкладку прошло успешно
Перевод не удался; рассказчик говорит, что Flint не является языковой моделью и не предназначен для научных рассуждений или творческого письма

Тест творческого письма: мальчик и динозавр

Тест творческого письма о мальчике и динозавре выдал посредственную историю. Она не провалилась полностью, и автор считает результат неплохим для модели на 40B, ориентированной на программирование.

Запрос: история о мальчике и динозавре в приключении
Результат: посредственная история, а не полный провал
Считается хорошим результатом для модели на 40B параметров в данном формате, хотя могло бы быть и лучше

Графики бенчмарков: качество против скорости

Докладчик разбирает графики бенчмарков из карточки модели, измеренные на Apple M4 Pro. Flint находится на границе соотношения качество-скорость: выше по качеству только Qwen 3.8 27B, но она работает значительно медленнее.

Графики из карточки модели, запуск на Apple M4 Pro
Качество (чем выше, тем лучше) против скорости (чем правее, тем быстрее)
Flint находится на границе эффективности
Только Qwen 3.8 27B показывает более высокие результаты, но работает в несколько раз медленнее
Среди других сравниваемых моделей — Muse Glimmer и более старые модели

Тесты чистой скорости

На Apple M4 Pro версия Flint на MLX превышает 100 токенов в секунду при коротком контексте, а llama.cpp немного отстаёт. На системе RTX Spark быстрее версия NVFP4. Версия NVFP4 почти не теряет качества по сравнению с полной точностью.

Версия на MLX превышает 100 токенов в секунду на M4 Pro при коротком контексте
Версия на llama.cpp отстаёт незначительно
Версия NVFP4 быстрее на системе RTX Spark
Модели схожего размера с разреженной архитектурой отстают; быстрее работают только самые маленькие плотные модели
NVFP4 почти не теряет качества по сравнению с полной точностью

Сравнение с семейством Qwen

Flint сравнивается с моделями семейства Qwen, Laguna, Muse Glimmer и Java. Она превосходит модели схожего размера с разреженной архитектурой в агентном программировании и хорошо справляется с следованием инструкциям, но более крупная плотная Qwen 3.8 побеждает в самых сложных задачах по терминалу и программной инженерии.

Сравнение с семейством Qwen, Laguna, Muse Glimmer и Java
Превосходит разреженные модели схожего размера в тесте агентного программирования
Особенно сильна в следовании инструкциям
Плотная Qwen 3.8 всё ещё побеждает в самых сложных задачах по терминалу и программной инженерии
Flint не лучшая во всём

Среда инференса Rec

Recursive также выпустила Rec, собственную среду инференса, настроенную под Flint на Apple silicon, которая объединяет проход декодирования в одно кастомное ядро Metal. Заявляется в 1,4–2,6 раза больше токенов в секунду, чем у llama.cpp, даже при очень длинном контексте. Докладчик это не тестировал.

Rec — собственная среда инференса Recursive, настроенная под Flint на Apple silicon
Объединяет весь проход декодирования в одно кастомное ядро Metal
Заявляет в 1,4–2,6 раза больше токенов в секунду, чем llama.cpp, даже при очень длинном контексте
Докладчик не тестировал её, так как у него нет машины Apple
Цифры взяты из репозитория GitHub и других документов

Заключение и мнение

Докладчик считает Flint впечатляющим для программирования, особенно за его скорость, но говорит, что Recursive должен поддерживать и другие архитектуры, а не фокусироваться на Apple.

Впечатляющие результаты в программировании, работает очень быстро
Основная критика: должен поддерживать архитектуры за пределами экосистемы Apple