БЕНЧМАРКИ · РЕАЛЬНЫЕ ДАННЫЕ

Luna 7 Mega.
В цифрах и делах.

Наши реальные прогоны Luna и Claude Fable 5.1, отдельно — опубликованные отраслевые результаты. С условиями и источниками.

GPQA DIAMOND · ОБЩИЙ ПРОГОН

Одинаковые вопросы.
Два реальных результата.

Полный набор: 198 из 198.

Правильность ответа

198 одинаковых вопросов · явный выбранный вариант

Luna 7 Mega184 / 198 · 92,9%

Claude Fable 5.1176 / 198 · 88,9%

Одинаковое правило для обеих систем: учитывается явно указанный вариант. Лишнее пояснение не меняет правильность ответа.

Содержание и строгий формат

Те же вопросы · ответ только в заданном JSON

Luna 7 Mega184 / 198 · 92,9%

Claude Fable 5.193 / 198 · 47%

Более строгий критерий: правильный вариант и точное соблюдение формата. Ответ с верным расчётом, но лишним текстом здесь не проходит.

Как сравнивали ответы

Одинаковые вопросы, порядок вариантов и правила оценки. Luna — стандартный серверный профиль Low; Claude — Fable 5.1 Medium в веб-интерфейсе, отдельный временный диалог на вопрос. Скорость этих разных интерфейсов не сравниваем.

Строгий JSON был исходным критерием. Отдельную оценку содержания добавили после первых трёх ответов Claude и применили к обеим моделям. Она засчитывает только явно и однозначно указанную букву ответа; противоречивые варианты не исправляются.

Все 198 вопросов включены в результат.

Проверяемые итоги и методика · JSON ↓

ARC-AGI-3 · ДЕЙСТВИЯ В СРЕДАХ

Найти правило.
И действовать.

1 из 25 сред
завершены обеими системами.

Официальный счёт ARC · ACE

Только 1 общая среда из 25 · не итог полного набора

Luna 7 Mega16,67 / 100

Claude Fable 5.12,78 / 100

Счёт онлайн-среды ARC по записанным действиям. Все кадры повторного воспроизведения совпали с исходными. Один общий игровой сценарий не позволяет судить обо всём ARC-AGI-3.

Пройденные уровни

1 одинаковых игровых сред из 25

Luna 7 Mega3 / 8 · 37,5%

Claude Fable 5.11 / 8 · 12,5%

Максимальное число достигнутых уровней в каждой среде. Это отдельный описательный показатель, не официальный балл ACE и не скрытый рейтинг ARC-AGI-3.

Открытые среды ARC-AGI-3, один ограниченный проход: до 128 действий и 32 решений на среду. Модель получает точную текстовую запись сетки; подсказок и доступа к коду игр нет. Это частичный прогон, не результат полного набора.

Результат каждой общей среды и ограничения проверки

ar25-0c556536

Luna: 3 / 8 уровней · 118 действий
Claude: 1 / 8 уровней · 128 действий

Проверка прерывалась и восстанавливалась: воспроизводились только записанные действия, каждый кадр сверялся с исходным. Некоторые незаписанные ответы пришлось запросить заново. Ошибки переноса текста интерфейсом сохранены отдельно и не засчитаны как ошибки модели. Это не непрерывный прогон первых ответов.

Для Luna завершено 18 / 25 сред, для Claude — 1 / 25. Сравниваем только общий завершённый отрезок. Набор, интерфейсы и бюджет отличаются от скрытого лидерборда. Эти результаты не доказывают наличие общего искусственного интеллекта или превосходство во всех задачах.

Результаты сред · JSON ↓

LUNA 7 MEGA · НАШ РЕАЛЬНЫЙ ЗАМЕР

Сложные вопросы.
Измеримый результат.

92,9%

184 из 198 верных ответов на GPQA Diamond.
Физика, химия и биология. Полный набор.

Как проходил тест

184 верно14 ошибок

Одна точка — один вопрос.
Один проход. Без исправляющих повторов.

Luna Practical v132 / 32попыток зачтено · 16 заданий × 2

GPQA · полный ответ2,81 смедиана, включая сеть и очередь

Код · внутренние проверки60 / 606 функций × 2 прохода

Измерения серверного компонента Luna, 21 сентября 2026. Не независимый аудит и не проверка всех функций приложения.

LUNA PRACTICAL V1

Точность и время.
Одна Luna 7 Mega.

Четыре типа задач.
Реальные ответы и выполненные тесты кода.

Luna 7 Mega

Оба графика — результаты одной модели. Это не сравнение с Claude.

Точность на внутреннем наборе

Доля зачтённых попыток · больше — лучше

12/12

Код

8/8

Аналитика

6/6

Помощник

6/6

Инструменты

Небольшой внутренний набор, а не универсальная оценка интеллекта. Для инструментов проверялся выбор, не выполнение.

Время полного ответа

Медиана · секунды · меньше — быстрее

9,42

Код

2,09

Аналитика

1,90

Помощник

2,66

Инструменты

Разные задачи имеют разную сложность. Это не сравнение скорости с другой моделью и не задержка голосового вызова.

Краткая сводка двух прогонов Luna

LUNA 7 MEGA · GPQA DIAMOND

92,9%

184 верных ответов из 198. Полный открытый набор сложных вопросов по физике, химии и биологии.

Один ответ на вопрос · без инструментов

ОХВАТ ПРОВЕРКИ

198 / 198

Все вопросы, а не выбранные удачные примеры. Ошибки включены в итоговый результат.

Независимый набор · наш собственный прогон

ВРЕМЯ ОТВЕТА

2,81 с

Медианное время полного ответа в этом прогоне, включая сеть и обработку.

95-й перцентиль · 14,17 с

Измерено на стандартном серверном профиле Luna 0.8.30. Это проверка ответов модели, не всего Windows-приложения и не независимый аудит. Один проход не доказывает превосходство над другой моделью. Методика и результаты ↓

LUNA PRACTICAL V1

Повседневные задачи.
Отдельный тест.

LUNA PRACTICAL V1

32 / 32

Успешных попыток на внутреннем наборе: 16 заданий, каждое выполнено дважды.

Без повторных попыток после ошибки

ПОЛНЫЙ ОТВЕТ

2,66 с

Медианное время ответа по всем 32 попыткам. Включает сеть и ожидание обработки.

95-й перцентиль · 12,38 с

ЗАДАЧИ НА КОД

9,42 с

Медиана генерации одной JS-функции. Полученный код запускался на заранее заданных тестах.

12 попыток · 6 разных задач

Это небольшой внутренний тест компонентов Luna 0.8.28, а не независимый рейтинг или проверка всех действий в установленном приложении. Результат не означает 100% надёжности на любых задачах.

РЕАЛЬНЫЙ ПРОГОН

Что проверили.
И как быстро.

Условия измерения ↓

Точные значения: зачёт, медиана и 95-й перцентиль

Luna Practical v1 · два последовательных прохода
Раздел	Зачтено	Медиана	95-й перцентиль
Код6 задач · 60 проверок результата	12 / 12	9,42 с	12,91 с
Аналитика4 задачи · расчёты и ограничения	8 / 8	2,09 с	2,80 с
Личный помощник3 задачи · карточка, память, камера	6 / 6	1,90 с	2,55 с
Выбор инструмента3 задачи · приложение, поиск, браузер	6 / 6	2,66 с	4,80 с

Инструменты в этом наборе только выбирались моделью: поиск, открытие браузера и приложения не выполнялись. Первый текст появился в медиане за 1,83 с в 23 ответах с текстом; это не задержка голосового вызова.

Все 16 заданий и результаты

Объединение интервалов2 / 2

CSV с кавычками2 / 2

Зависимости задач2 / 2

Деньги без потери копеек2 / 2

Кэш со сроком действия2 / 2

Кратчайший путь на сетке2 / 2

Выручка с возвратами2 / 2

Взвешенная конверсия2 / 2

Поиск свободного времени2 / 2

Не выдумывать недостающие данные2 / 2

Имя и отделение из карточки2 / 2

Предпочтение из памяти2 / 2

Поиск установленного приложения2 / 2

Запрос актуальной погоды2 / 2

Поручение во встроенном браузере2 / 2

Не приписывать доступ к камере2 / 2

ЗАДАЧИ С РЕЗУЛЬТАТОМ

За пределами
короткого ответа.

БРАУЗЕР

Заказ — за 95 с.

В отдельном прогоне Луна собрала 20 наггетсов в тестовом магазине, разделила имя и фамилию и выбрала отделение 165.

17 обращений к модели. Ноль подтверждений чтения и подготовки; одно перед окончательной отправкой. Реального заказа и списания не было.

Один сценарий, не общий балл работы в браузере

РАЗРАБОТКА

Работающая 3D-игра.

В реальном запросе создан «Предел Ориона»: корабль, астероиды, столкновения, щит и счёт.

Проверены запуск, движение, пауза, продолжение и повтор после проигрыша. Полное прохождение, сенсорное управление и звук не проверены.

Посмотреть результат ↗

LUNA 7 MEGA / CLAUDE FABLE 5.1

Две модели.
Прозрачные данные.

Общий набор завершён: 24 ответа каждой системы.
Вопросы и критерии совпадают; настройки и интерфейсы различаются. Первые четыре диаграммы показывают общий набор. Дальше — отдельные тесты: пустая дорожка означает отсутствие сопоставимого замера, а не ноль.

Общий практический набор

12 заданий × 2 прохода · зачёт по всем критериям

Luna 7 Mega100,0%

Claude Fable 5.187,5%

Luna: 24/24. Claude: 21/24. Три ответа Claude не соблюли требование строгого JSON, хотя расчёт был верным. Это небольшой внутренний набор, не общая оценка интеллекта.

Аналитика · содержание и формат

4 задания × 2 прохода · включая строгий JSON

Luna 7 Mega100,0%

Claude Fable 5.162,5%

Luna: 8/8; Claude: 5/8. Правильное содержание с лишним пояснением не проходило заранее заданный формат. Исправляющих повторов не было.

Контекст личного помощника

2 задания × 2 прохода · вымышленные данные

Luna 7 Mega100,0%

Claude Fable 5.1100,0%

Luna: 4/4; Claude: 4/4. Проверяется ответ по данному контексту, а не реальное оформление заказа или управление компьютером.

Код · одинаковые задания

6 функций × 2 прохода · общий набор

Luna 7 Mega100,0%

Claude Fable 5.1100,0%

Наш реальный замер: Luna — 60/60, Claude — 60/60 проверок. Luna Low через сервер, Fable 5.1 Medium через веб-интерфейс. Это небольшой функциональный тест, не рейтинг всего программирования.

GPQA Diamond · правильность

Полный общий набор · 198 вопросов

Luna 7 Mega92,9%

Claude Fable 5.188,9%

Наш общий прогон. Одинаковое правило явного ответа; подробности и отдельная оценка строгого формата — в начале страницы.