В исследовании AutoBench Router Benchmark, опубликованном 26 октября, авторы сравнили 17 настроек семи систем, которые выбирают модель для каждого запроса. Проверка охватила 252 открытых вопроса из десяти областей и набор из 20 моделей.

Главный результат: по данным авторов, ни одна настройка не превзошла постоянный выбор GPT-5.6 Luna сразу по двум показателям — качеству и стоимости. Вывод сохранился и при 10 тысячах повторных выборок данных. Это сравнение способов выбора исполнителя, а не новое первое место в общей таблице интеллекта.

Что получилось у конкретных вариантов

Постоянный выбор GPT-5.6 Luna дал 85,3% по показателю близости к лучшим ответам при цене 0,0043 доллара за вопрос. Azure в режиме приоритета качества достиг тех же 85,3%, но за 0,065 доллара. В этом опыте автоматический выбор не дал преимущества по названному показателю, а обходился дороже.

Not Diamond в режиме без предварительных примеров повторил результат GPT-5.6 Sol: 87,5% за 0,0787 доллара. Однако Sol выбиралась для каждого вопроса. Такая настройка формально использует систему выбора, но по фактическому поведению остаётся постоянным обращением к одной модели.

Всего пять из 17 настроек направляли не менее 90% запросов одной модели. Практический вывод для разработчика — сравнивать распределение запросов и итоговую цену с простым постоянным выбором, а не считать сам факт маршрутизации доказанной экономией.

Где заканчивается этот вывод

Опыты проводились с 30 августа по 1 сентября. Дата публикации исследования не превращает их в проверку последних версий на конец октября. Кроме того, часть систем имела доступ только к некоторым моделям из общего набора, а качество ответов оценивали другие модели.

Показатель 85,3% здесь не является долей точных ответов. Его нельзя напрямую сравнивать с процентами решённых задач в других испытаниях. Результат относится к указанным вопросам, настройкам, доступным моделям и датам; утверждение, что автоматический выбор моделей вообще бесполезен, из него не следует.

Источник: описание исследования и методики на Hugging Face.