В данном обзоре проводится тестирование модели Grok 4.7 от SpaceX AI на предмет ее эффективности в решении реальных задач, связанных с программированием, анализом данных и юридическими вопросами. Модель позиционируется как наиболее мощная на сегодняшний день для кодирования и работы со знаниями, превосходящая предыдущие версии по скорости и стоимости.

Технические характеристики и заявления

SpaceX AI заявляет, что Grok 4.7 вдвое быстрее и вдвое дешевле сопоставимых моделей Frontier. Модель была обучена с использованием более длительного обучения с подкреплением на сложных многоэтапных задачах. Отмечается улучшенная способность к самопроверке, обработке длинного контекста и усиленный стек безопасности.

Тестирование на реальном приложении

Первым этапом тестирования стала проверка способности Grok 4.7 находить и исправлять ошибки в реальном приложении. В качестве тестовой платформы использовалось локально развернутое полнофункциональное приложение Dirt Dynasty — платформа для подсчета очков в соревнованиях по фристайл-мотофристайлу. Приложение, разработанное с использованием Docker, PostgreSQL, FastAPI, Nginx, Redis и других компонентов, имело критическую ошибку: система подсчитывала очки только от трех из четырех судей, игнорируя один балл от каждого участника. Это приводило к некорректному определению победителя, ставя на первое место Gravedigger вместо реального лидера — Max D.

Модели Grok 4.7 была поставлена задача найти и исправить все ошибки без указания на конкретную проблему. После выполнения задачи и перезагрузки приложения было подтверждено, что ошибка исправлена, и Max D занял заслуженное первое место.

Сравнительные бенчмарки

SpaceX AI предоставила данные бенчмарков, демонстрирующие производительность Grok 4.7 по сравнению с другими моделями.

• Кодирование (HumanEval 5.1): Grok 4.7 показывает высокие результаты, превосходя некоторые модели.
• Работа с терминалом и многоэтапные офисные задачи: Здесь лидируют другие модели, такие как Fable 5.1.
• Юридическое и электротехническое проектирование: Grok 4.7 демонстрирует превосходство, опережая все другие модели в этих областях.
• Клиническая диагностика: Модель уступает GPT 4.6 и Fable 5.1, но в целом показывает конкурентоспособные результаты, находясь на нижней границе ценового диапазона.

Тестирование в области электротехники

Второй тест был направлен на проверку способностей Grok 4.7 в области электротехники, где модель показала высокие результаты в бенчмарках. Была представлена схема с источником питания 24 В, двумя параллельными резисторами, последовательно соединенными с 13-омным резистором и светодиодом. Мультиметр показывал 0 В в одной из точек схемы, что указывало на обрыв или отсутствие проводимости.

Grok 4.7 успешно диагностировала неисправность, определив, что светодиод установлен неправильно (обратная полярность), что препятствует его свечению. Модель продемонстрировала способность к самопроверке, анализируя изображение и проводя расчеты.

Тестирование в юридической области

Для проверки юридических компетенций модели была использована сгенерированная изображение сцены в гостиной с мужчиной и тремя женщинами, представленными как его жены. Задача заключалась в анализе ситуации с точки зрения юридических проблем, таких как действительность брака, культурные особенности и финансовые претензии, без учета расы, возраста или внешности.

Grok 4.7 успешно справилась с задачей, проанализировав применимое законодательство разных юрисдикций, выявив недостающие факты и рассмотрев вопросы, связанные с законностью полигамных браков в различных культурах и религиозных текстах. Модель корректно отказалась от анализа изображения как "мыльной оперы", сосредоточившись на юридических аспектах. Были отмечены такие важные моменты, как родственные связи, которые могут аннулировать брак, права предполагаемого супруга и коллизия законов. Модель сохраняла нейтральность, избегая расовых или иных предвзятых суждений.

Тестирование в области программирования и мультиязычности

Финальный тест объединил два аспекта: создание анимации приготовления латте на чистом HTML и JavaScript, а также проверку знания названия кофе на 80 языках.

Grok 4.7 успешно сгенерировала код для визуально убедительной анимации приготовления кофе, включая элементы машины, молока и сердечка. Анимация была признана сравнимой по качеству с результатами других моделей.

В части мультиязычности модель продемонстрировала высокую точность, правильно определив корень слова "кофе" (например, "kahava") в большинстве из 80 языков и используя соответствующие скрипты. Модель также отметила языки, заимствующие слова у соседей, и корректно сгенерировала правдоподобное вымышленное слово "corvix" для гипотетического языка.

Заключение

Grok 4.7 показала впечатляющие результаты в ходе тестирования, продемонстрировав способность к решению сложных задач в различных областях, включая программирование, юридический анализ и техническую диагностику. Модель подтвердила заявленные улучшения в скорости и самопроверке, а также показала сильные мультиязычные способности.