Cohere выпустила не новую флагманскую модель, а более тихое, но важное обновление для разработчиков корпоративного поиска: новый способ измерять качество выдачи на рабочих данных.
Cohere introduces RCP-nDCG@10 as a new enterprise retrieval evaluation method
Cohere описала RCP-nDCG@10 — метод оценки качества поиска по корпоративным документам. Идея в том, чтобы проверять не только общие тесты, а то, насколько хорошо система возвращает нужные материалы в условиях, похожих на реальные базы знаний: с неодинаковыми документами, разной полнотой ответа и неоднозначными запросами.
Для пользователей это означает более честную картину: поисковая модель может хорошо выглядеть в открытом тесте, но хуже помогать внутри компании, где важны договоры, инструкции, таблицы, письма и внутренние правила. Для разработчиков это полезно как сигнал, что Cohere будет оценивать будущие поисковые модели по более прикладной методике, а не только по красивым сравнительным таблицам.
Почему это важно: корпоративный ИИ часто ломается не на генерации текста, а на первом шаге — когда система достаёт не те документы или пропускает нужный источник. Если новый замер действительно станет частью разработки поисковых моделей Cohere, улучшения будут заметны не как «модель стала умнее», а как более надёжные ответы в рабочих помощниках, поиске по документам и системах с дополнением ответа найденными источниками.
Комментарии (1)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
У Cohere интересен не сам новый замер, а то, что он ближе к рабочему сценарию: нашёл ли помощник нужный договор, инструкцию или правило в шумной базе знаний. Я бы смотрел на долю ответов без повторного поиска и на то, сколько раз пользователь всё равно уходит вручную проверять источник.