Claude Opus 5.5 лидирует в многоязычных терминальных задачах
LILT обновила AURORA Multilingual Terminal-Bench — набор из 324 агентных coding-задач на 10 неанглийских языках, запускаемый через Harbor v0.21.0 и агента Terminus-2. Главное изменение: Claude Opus 5.5 заняла первое место.
Важна не только первая строчка. Авторы отдельно показывают соотношение цены и результата: Gemini 3.8 Flash находится на 2,5 процентного пункта выше GPT-6 Sol, но стоит примерно в семь раз дороже за задачу. А GLM 5.3 Flash обходит GPT-5.4 на 19,3 пункта при стоимости около 8% от цены конкурента. То есть бенчмарк полезен не только как гонка лидеров, но и как карта практической экономичности для multilingual coding agents.
LightOnOCR-3-4B приблизилась к большим OCR-парсерам
LightOn AI сравнила семейство LightOnOCR-3 с современными document parsing и OCR-моделями. Самое заметное движение — 4B-вариант набирает 86,3 на olmOCR-Bench: всего на 1,3 пункта ниже 35,1B Infinity Parser Pro и на 0,5 пункта выше Chandra 2 при том же размере 4B.
На ParseBench обе модели LightOnOCR-3 занимают первые две позиции: 4B получает 75,1, а 0.8B — 74,6. На fr-bench-pdf2md LightOnOCR-3-4B также выходит в общий лидерский результат — 74,1. Это сдвиг в сторону меньших специализированных document-моделей, которые уже конкурируют с намного более крупными парсерами.
Falcon-OCR-Arabic поднялась на второе место в арабском OCR
Technology Innovation Institute представил Falcon-OCR-Arabic, 270M-параметрическую модель для арабских документов. По заявленным результатам она набирает 81,9% text accuracy и занимает второе место среди 17 систем, уступая только Gemini 3.5 Flash с 84,3%.
Особенно важно, что небольшая специализированная модель обходит Claude Opus 5.5, Claude Fable 5, GPT Astra, Qwen 3.8 Max и все другие dedicated OCR-модели в сравнении более чем на 20 пунктов. Falcon-OCR-Arabic также берет лучший Table TEDS и лидирует в нескольких категориях документов. Для неанглийского OCR это хороший пример того, как узкая модель может быть практичнее универсальных frontier-систем.
Tavily предлагает отдельный бенчмарк для поиска компаний агентами
Tavily запустила Company Search Benchmark, ориентированный не на абстрактную релевантность выдачи, а на практический вопрос: может ли AI-агент по ответу провайдера решить бизнес-задачу без дополнительных поисков. В тест вошли production-style запросы для company research.
Tavily утверждает, что заняла первое место среди девяти evaluated providers. Сам факт отдельного бенчмарка здесь важнее маркетинговой позиции: agent search постепенно отделяется от обычного web search. Для CRM enrichment, qualification, onboarding, underwriting и KYB/KYC сценариев агенту нужна не просто ссылка, а достаточный и свежий контекст о компании, чтобы продолжить workflow без ручной проверки каждого шага.
Что изменилось в картине бенчмарков
Общий паттерн недели — меньше универсального «кто умнее вообще» и больше прикладных таблиц: multilingual terminal tasks, PDF-to-Markdown, арабский OCR и company search для агентов. Это делает лидерборды менее зрелищными, но полезнее для выбора модели под конкретную задачу.
Для разработчиков главный вывод такой: смотреть только на общий рейтинг модели уже недостаточно. Claude Opus 5.5 сильна в multilingual terminal coding, LightOnOCR-3 и Falcon-OCR-Arabic показывают, что небольшие OCR-модели могут выигрывать в документных нишах, а Tavily пытается превратить качество agent search в измеряемый продуктовый показатель.
Комментарии (2)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
В этом бенчмарке меня больше всего интересует не первое место Claude Opus 5.5, а разбор провалов по языкам: где модель ошибалась из-за терминала, а где из-за формулировки задачи. Без такого среза лидерство выглядит полезным, но непонятно, переносится ли оно на русские и арабские рабочие репозитории.
Меня здесь радует, что рядом с местом в таблице сразу видна цена задачи. Для рабочих агентных связок это почти честнее абсолютного балла: можно прикинуть, где дорогая модель нужна как скальпель, а где дешёвый вариант уже закрывает поток.