Разработчики сталкиваются с проблемами облачных расходов или нехваткой аппаратного обеспечения для локального запуска передовых ИИ-моделей. Компания Xiaomi представила свою модель V2.6, основанную на Qwen 9B, специально разработанную для систем с ультранизким объемом памяти. В данной статье рассматриваются ключевые детали, результаты тестирования и практическое применение модели.

Архитектура и возможности MiMo V2.6

MiMo V2.6 представляет собой новый фреймворк для автоматизации рабочего стола, способный выполнять сложные задачи полностью локально. Система использует компактную архитектуру с 9 миллиардами параметров, ускоряя повседневные задачи кодирования без необходимости подключения к Интернету. Базовый интеллект модели основан на модифицированной версии Qwen, ядро которой было оптимизировано для максимальной эффективности.

В статье демонстрируется использование 2-битной квантизации, что обеспечивает объем модели всего 3 ГБ. В сложном бенчмарке по разработке программного обеспечения эта модель достигла результата в 44,6%, показав прирост в 39% по сравнению с базовой моделью Qwen. Активное потребление системной памяти составляет всего 2,5 ГБ, что позволяет использовать 2-битную квантизацию даже на потребительских ноутбуках.

При выполнении общих задач автоматизации модель демонстрирует результат выше 60%, что свидетельствует о ее способности эффективно обрабатывать многошаговые инструкции. В рейтинге завершения задач модель занимает лидирующие позиции среди офлайн-решений, набирая более 30% в бенчмарке автоматизации.

Процесс установки и использования

Для установки модели предлагается два варианта:

1. Официальная версия Qwen 9B: Размер загрузки составляет 19 ГБ, требуется минимум 16-32 ГБ видеопамяти.
2. Сжатые форматы: Модель весов сжимается в один файл GGUF с различными вариантами квантизации. 2-битная квантизация означает, что точность весов модели снижается с 16 бит до 2 бит, что вдвое уменьшает размер загрузки и требования к памяти. Для 2-битной квантизации требуется минимум 4 ГБ видеопамяти.

Процесс работы модели включает следующие этапы:

• Ввод инструкций: Пользователь вводит текстовые инструкции.
• Структурирование запроса: Внутренняя архитектура форматирует текст для понимания системой.
• Обработка: Основной процессор Qwen анализирует структурированные данные и рассчитывает необходимые шаги для генерации кода.
• Вывод: Результат генерируется в виде структурированного блока данных JSON, который может быть прочитан другим локальным программным обеспечением.

Создатели модели тщательно фильтровали данные перед обучением, удаляя избыточную информацию. Процесс обучения использует эксклюзивную внутреннюю систему вознаграждений Xiaomi, которая обучает ПО приоритезировать точность над генерацией длинного текста. Для обучения использовалась методология, обеспечивающая соответствие выходных данных ожиданиям разработчиков. Базовые знания модели основаны на обширной коллекции текстовых фрагментов, что позволяет ей понимать сложные технические инструкции. В процессе обучения было использовано 27 миллиардов точек данных, что гарантирует отсутствие ошибок в генерируемом коде.

Модель специализируется на языках программирования и внешних интеграциях, лучше справляясь с API-соединениями по сравнению со стандартными разговорными моделями. Техники сжатия файлов обеспечивают значительную экономию места без потери основных способностей к рассуждению. Стандартные процессоры обрабатывают математические операции, а нагрузка может быть перенесена на графические процессоры. При вызове внешних инструментов фреймворк генерирует предсказуемые структуры данных, предотвращая сбои пользовательских скриптов при автоматизированной обработке. Модель может взаимодействовать с популярными локальными хостинговыми серверами, используя стандартные веб-протоколы.

Тестирование и результаты

Для тестирования модель MiMo V2.6 была зарегистрирована в программе Ollama с использованием файла GGUF. Система инструкций для агента определяет его как "MIMO v2.6 Six, гипеэффективный 9-битный дистиллированный агент ИИ", чья роль заключается в автоматизации запросов разработчиков, планировании шагов выполнения, генерации чистого Python-кода и создании структурированных JSON-вызовов инструментов при необходимости внешней информации. Ответы модели структурированы в формате JSON, содержащем шаги анализа, финальный код и статус.

В качестве тестового запроса было предложено: "Проанализировать рабочее пространство, создать легковесный эндпоинт Fast API для мониторинга состояния системы и сгенерировать структурированный код верификации". Агент должен был создать код, который вызывает инструменты для проверки состояния системы и предоставляет исполняемый код для финальной верификации.

Запуск скрипта main.py отправляет запрос локальной модели MiMo. Результаты выполнения сохраняются в файле Markdown. Время выполнения на системе с 4 ГБ видеопамяти составило около 15 минут.

Ключевые результаты тестирования:

• Программная инженерия: 44,6% (прирост 39% по сравнению с базовой моделью Qwen).
• Автоматизация: Более 60% (эффективная обработка многошаговых инструкций).
• Завершение задач (офлайн): Лидирующие позиции, более 30% в бенчмарке автоматизации.
• Производительность: Шестикратный прирост в бенчмарках автоматизации по сравнению с базовой моделью.
• Анализ безопасности: Улучшение на 25% (идентификация базовых уязвимостей).
• Навигация в командной строке: 37% (прирост 10% по сравнению с базовой моделью).
• Вызовы внешних инструментов: Прирост производительности на 9%.

Требования к аппаратному обеспечению

• 2-битная квантизация: Размер загрузки около 3 ГБ, требования к видеопамяти 3-4 ГБ.
• 4-битная квантизация: Требуется около 6 ГБ видеопамяти, подходит для ежедневной профессиональной разработки.
• Несжатая версия: Размер загрузки 18 ГБ, требует дорогостоящих графических процессоров или облачных GPU.

Практические сценарии использования

• Генерация бэкенд-логики Python: Создание маршрутизации, вспомогательных функций без подписок и облачных расходов.
• Преобразование естественного языка в команды: Перевод запросов на английском языке в рабочие системные команды и скрипты управления файлами.
• Вызов внешних функций и приложений: Модель может выводить структурированные полезные нагрузки для внешнего ПО и запускать локальные приложения без вмешательства пользователя.

Выводы

Модель MiMo V2.6 представляет собой высокоэффективный локальный движок, позволяющий разработчикам выполнять задачи кодирования и вызовы инструментов без дорогостоящего оборудования. Основные преимущества включают высокую скорость выполнения на старых ноутбуках и полную конфиденциальность данных для корпоративных проектов. Однако при использовании наиболее сжатых версий возможна потеря способности к пониманию сложного синтаксиса и отсутствие энциклопедических знаний по сравнению с моделями большего размера. Это компромисс между скоростью, доступностью оборудования и функциональностью.

Для начала работы с моделью рекомендуется ознакомиться с инструкциями по загрузке и установке, которые будут доступны по ссылке в описании.