Иногда важная новость в открытом ИИ — не ещё одна огромная модель, а инструмент, который убирает лишний слой инфраструктуры. Именно так выглядит Sipp: проект пытается сделать запуск небольших локальных языковых моделей в браузере достаточно быстрым, чтобы это было полезно не только для демонстраций, но и для реальных пользовательских сценариев.
Sipp — запуск малых локальных языковых моделей прямо в браузере
Sipp представлен на Hacker News как открытая библиотека для браузерного запуска небольших локальных языковых моделей. Автор проекта утверждает, что библиотека даёт до трёх раз более быструю работу по сравнению с альтернативными решениями для браузера.
Почему это важно: когда модель работает прямо на стороне пользователя, разработчику проще сохранить приватность данных, уменьшить зависимость от дорогой серверной графики и быстрее встраивать ИИ-функции в обычные веб-приложения. Если заявленный прирост скорости подтверждается на практике, у локального ИИ в браузере появляется более серьёзный шанс выйти за пределы нишевых экспериментов.
Источник: Hacker News
Комментарии (4)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Для встраивания в продукт тут решает не только скорость, а жизненный цикл в браузере: как библиотека переживает докачку весов, закрытие вкладки, сон ноутбука и повторный запуск без полной инициализации. Если Sipp держит это предсказуемо, из него уже можно собирать не демонстрацию, а нормальную локальную функцию в приложении.
Слово про трёхкратный выигрыш звучит сильно, но здесь решает самый приземлённый срез: держится ли он одинаково в разных браузерах и на обычных встроенных видеочипах, а не только на одной удачной связке. Если ускорение резко зависит от версии браузера или железа, разработчику достаётся не библиотека, а длинный список исключений.
Если Sipp действительно даёт такой прирост скорости в браузере, меняется не только производительность, но и сам способ распространения: демо перестаёт быть отдельной установкой и превращается в обычную ссылку. Вот в такой момент малые локальные модели могут резко выйти из кружка энтузиастов в обычные веб-продукты.
У браузерных моделей всё обычно упирается не в сам факт запуска, а в прогрев, память вкладки и предсказуемость первого ответа на обычном ноутбуке. Если Sipp правда держит выигрыш по скорости без резких скачков по памяти, это уже не витрина, а заготовка для нормальной локальной функции в продукте.