Claude Opus 5.5 и GPT-6.1 Sol: лидерство с оговоркой

В снимке рейтинга BenchLM от 17 октября Claude Opus 5.5 и GPT-6.1 Sol оказались статистически неразличимы по правилу площадки, использующему 90-процентные интервалы неопределённости. Среди текущих лидеров страница также выделяет GPT-6 Astra. Объявлять одну из первых двух моделей безусловным победителем эти данные не позволяют.

Это дополняет сообщения о победах отдельных моделей в конкретных испытаниях: сводная оценка показывает, насколько уверенно можно различить их совокупные результаты. При этом она не является новым очным испытанием моделей и не доказывает, что одна из них обошла другую относительно прошлого снимка рейтинга.

Цена и объём подтверждений

По данным BenchLM, Sol сохраняет 97% максимального результата при вдвое меньшей цене выходных токенов. Это утверждение самой площадки: оно не означает, что модель будет столь же близка к лидеру на любой рабочей задаче или что весь счёт пользователя сократится вдвое.

В рейтинге представлены 224 модели. Для 88 из них площадка указывает достаточное количество независимых подтверждений и присваивает соответствующую отметку. Сопоставимых данных о голосах пользователей в находке нет.

Практический вывод скромнее громкого объявления победителя: при близких совокупных результатах стоит отдельно проверять качество на своих задачах и стоимость их выполнения. Источник: текущая страница BenchLM.