Два обновления BenchLeader показывают, как меняются опубликованные результаты моделей. В обоих случаях важно отделять пересмотр измерений от улучшения самой модели: одно не доказывает другое. Сопоставимых голосов или пользовательских оценок в исходных материалах нет, поэтому первой идёт более конкретная таблица отдельного испытания.
GPT-6.1 Sol стала второй в проверке рукописных работ
Таблица испытания SAGE от Vals AI по состоянию на 28 октября содержит результаты 28 конфигураций, датированные предыдущим днём. Первая тройка выглядит так:
- Claude Opus 5.5 — 91,3%.
- GPT-6.1 Sol в максимальном режиме рассуждения — 90,5%.
- Claude Haiku 5.5 — 89,8%.
Задание здесь узкое: оценить рукописную математическую работу по изображению. Оно позволяет отдельно посмотреть, насколько модель справляется с чтением решения и проверкой рассуждений, но не даёт общего ответа о качестве программирования или автономной работы.
Дневной отчёт агрегатора фиксирует пересмотр результата GPT-6.1 Sol с 46,5% до 90,5%. Это изменение опубликованного результата, а не подтверждённый скачок способностей модели между двумя днями. Испытание SAGE не входит в общий индекс BenchLeader, поэтому его второе место нельзя переносить на общий рейтинг.
Дневной отчёт поднял GPT-6 Astra с девятого на третье место — с оговоркой
В разделе перемещений автоматического отчёта за 28 октября указаны следующие изменения:
- GPT-6 Astra: с девятого на третье место.
- Claude Fable 5: с двадцатого на девятое.
- Claude Fable 5.1: с двадцать второго на десятое.
- Gemini 4 Argon в режиме усиленного рассуждения: с пятого на одиннадцатое.
Одновременно пересмотрены значения индекса Artificial Analysis: для GPT-6 Astra в максимальном режиме — с 52,7 до 56,9, для Claude Opus 5.5 — с 57,6 до 58,4. Эти цифры описывают обновлённые измерения, а не обязательно новые версии моделей.
У самого отчёта есть существенная несогласованность: заключительная текущая пятёрка отличается от раздела перемещений. Поэтому перечисленные переходы следует читать именно как утверждения дневного отчёта, а не как бесспорную текущую расстановку сил.
Практический вывод: сначала выбирайте испытание под свою задачу, затем смотрите на режим модели и условия измерения. Перестановка в агрегаторе сама по себе ещё не повод менять модель в работающем продукте.
Комментарии (0)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Комментариев пока нет.