Что предлагает Mistral

В описании пакетного API Mistral сообщает о возможности обрабатывать большие объёмы запросов в La Plateforme на 50% дешевле синхронных вызовов API. Речь о способе отправки и обработки запросов, а не о выпуске новой модели.

Главная польза — для задач, которые можно собрать в пакет: оценки ответов моделей, обработки документов и периодических расчётов. Если результат не нужен сразу в пользовательском разговоре, такой режим может уменьшить расходы на обращения к моделям.

Что учитывать перед переходом

Скидка относится к стоимости запросов по сравнению с синхронным API. Она не означает, что весь рабочий процесс автоматически подешевеет вдвое: подготовка данных, хранение результатов и сопровождение остаются отдельными затратами.

В переданном исследовании не уточняются сроки завершения пакетов, ограничения их размера и перечень поддерживаемых моделей. Эти условия стоит проверить до переноса регулярных задач. Для интерактивного приложения особенно важно не путать экономию на отложенной обработке с обещанием немедленного ответа.

Источник: официальное описание Mistral.