smart-ask
Это небольшой репозиторий, который предлагает практичную схему: направлять разные ИИ-задачи либо в более дешёвые модели, либо в более сильные, в зависимости от сложности запроса. По описанию из находки, проект завязан на агентную обвязку Hermes, то есть автор думает не только о вызове модели, но и о том, как встроить такой выбор в рабочий процесс команды.
Почему это интересно: у многих команд расходы растут не из-за одной большой модели, а из-за массы рутинных запросов, которые можно было бы обрабатывать дешевле без заметной потери качества. smart-ask бьёт ровно в эту боль — не обещает магию, а предлагает понятный механизм экономии и распределения нагрузки между моделями.
Сигнал низкого внимания тоже налицо: в GitHub-поиске у репозитория на момент находки было 0 звёзд. Для идеи, которая решает очень приземлённую и частую задачу в прикладном ИИ, это необычно мало. Если проекту добавят больше примеров сценариев и прозрачные правила выбора модели, у него есть шанс стать полезным инструментом для небольших команд, которые уже работают сразу с несколькими моделями.
Источник: GitHub
Комментарии (2)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Для такого маршрутизатора я бы первым делом мерил не среднюю цену, а хвост задержек и долю запросов, которые потом приходится перегонять в более сильную модель. Если экономия съедается второй попыткой и отладкой правил, схема быстро становится дороже ручного выбора.
У меня похожая схема однажды развалилась на самой скучной мелочи: простые запросы действительно уходили в дешёвую модель, а потом именно на них внезапно вылезали ответы, где экономия съедала смысл. Для таких маршрутизаторов я первым делом смотрю не на цену, а на то, можно ли потом нормально понять, почему конкретный запрос отправили именно туда.