Представленная модель Ternary Bonsai 2 9B в формате GGUF, занимающая всего 2,4 ГБ, продемонстрировала способность генерировать код для анимации на основе изображения и текстового запроса. В ходе тестирования модель получила изображение донер-кебаба и соответствующий запрос, после чего сгенерировала код для создания вращающейся анимации этого блюда.

Fahad Mirza, автор обзора, отмечает, что модели семейства Bonsai демонстрируют переменный результат: иногда они работают превосходно, а иногда не справляются с поставленными задачами. Он выразил интерес к производительности новой модели Bonsai 2 9B.

О моделях Ternary Bonsai и Prism ML

Ternary Bonsai 2 9B является моделью объемом 9 миллиардов параметров в формате GGUF. Она основана на модели Qwen 3.5 9B и обладает возможностью обрабатывать как изображения, так и текст, сохраняя при этом контекстное окно размером 262K. Исходная модель Qwen имеет размер около 17,9 ГБ, тогда как Ternary Bonsai 2 9B — всего 2,4 ГБ, что примерно в семь раз меньше. Веса модели распространяются под лицензией Apache 2.0, что позволяет свободное использование.

Процесс сжатия модели заключается в преобразовании каждого веса из 16-битного числа (например, 0.82 или -0.07) в одно из трех значений: -1, 0 или +1. Для поддержания размера модели используется дополнительная информация — числовое значение для каждой группы из 128 весов. Уменьшение количества бит на вес приводит к значительному сокращению размера файла.

Тестирование производительности

Модель была запущена с использованием llama.cpp. Потребление видеопамяти (VRAM) при полном контекстном окне 262K было зафиксировано. Уменьшение длины контекста путем изменения параметра C позволяет снизить потребление VRAM.

Тест на знание сленга Nadsat

В рамках одного из тестов модель получила задание пересказать реальное историческое событие на сленге Nadsat из произведения "Заводной апельсин". Целью было проверить, сохранила ли модель знание оригинального сленга или же сгенерировала лишь поэтически звучащий текст.

Результат был оценен как 50/50. Модель использовала слова из Nadsat, однако, по мнению автора, в большинстве случаев с неверными значениями. Правильными были признаны только слова "drug", "malchik" и "moloko". Все 11 использованных слов были взяты из исходного запроса. Автор отмечает, что модель "посыпает" слова, но не "говорит" на Nadsat.

Тест на мультиязычность

Следующий тест был направлен на проверку мультиязычных способностей модели. Модели был представлен сценарий из ресторана с просьбой ответить на 28 языках.

Крупные языки, такие как испанский, португальский и мандаринский, были обработаны хорошо. Однако в корейском и индонезийском языках были отмечены незначительные ошибки. Среднересурсные языки, включая хинди, урду, греческий и некоторые африканские языки, были представлены в искаженном виде с вкраплениями русских и китайских слов. Редкие языки, в том числе европейские, североамериканские и другие, в большинстве своем были обработаны удовлетворительно, однако некоторые редкие языки "свернулись" в повторяющийся бессмысленный набор символов. Автор заключает, что качество ответов снижается по мере усложнения языка.

Тест на научное рассуждение

Для этого теста модели была представлена инфографика аэродинамической трубы, и ей было предложено проанализировать ее как старший аэродинамик. Задача включала проверку числовых данных, физических принципов и математических расчетов.

Анализ рассуждений модели показал, что она справилась с задачей на высоком уровне, не упустив важных деталей. Модель корректно определила противоречивые числа Рейнольдса, выявила искаженный текст и бессмысленные формулы, а также признала отчет недостоверным. Однако детализация оказалась менее точной: модель неправильно прочитала мелкие числа и выдумала угол сваливания менее 90 градусов, который отсутствовал на изображении. Проверка физических принципов также выявила арифметическую ошибку.

В целом, модель объемом 2,4 ГБ способна рассуждать о сложных диаграммах и делать разумные выводы, но ее числовые данные не следует воспринимать как абсолютно точные. Отмечается, что галлюцинации присутствуют, но их уровень снизился по сравнению с предыдущими моделями семейства.

Ситуационный тест

В рамках последнего теста модели было представлено изображение, сгенерированное ИИ: богатый холостяк с большим пятном от соуса на рубашке, оказавшийся между двумя соперничающими будущими тещами — итальянской нонной с лазаньей и детским фото, и пакистанской тетей с жареной курицей и семейным альбомом. Модели было предложено описать изображение, написать смешной скетч с культурными отсылками, итальянскими и урду фразами, а также неожиданным финалом.

Визуальная часть описания была выполнена отлично: модель корректно описала всех персонажей, блюда и пятно. Итальянские фразы были адекватными, включая одну юмористическую реплику. Однако сюжетная линия оказалась слабой: урду фразы были неточными и повторяющимися. Дочери и брак не были упомянуты, мужчина внезапно сменил синюю рубашку на костюм, а поворот с детским фото не имел смысла.

Модель продемонстрировала хорошие навыки чтения изображений и удовлетворительное владение итальянским языком, но показала слабость в построении сюжета и креативности.

В заключение автор отмечает значительную потерю производительности по сравнению с более крупными моделями, но признает усилия Prism ML в создании данной модели.