PrismML сжимает большие ИИ-модели для локального запуска
PrismML привлекла 22,25 млн долларов в посевном раунде. Среди инвесторов — Khosla Ventures, Cerberus Capital и Caltech. Компания разрабатывает технологию сжатия языковых моделей: в материале TechCrunch говорится о работе с моделью на 27 млрд параметров, которую удалось запускать локально примерно в 5,9 ГБ памяти.
Почему это важно: деньги снова идут не только в гигантские вычислительные кластеры, но и в попытку сделать продвинутый ИИ дешевле, компактнее и доступнее на обычных устройствах. Если такой подход будет работать стабильно, часть задач можно будет выполнять ближе к пользователю — с меньшими затратами на облако, меньшей задержкой и потенциально лучшим контролем над данными.
Чего пока не хватает: посевной раунд и ранние технические заявления ещё не доказывают, что технология выдержит массовое использование. Главный вопрос — сколько качества теряется при сжатии и насколько хорошо такие модели будут работать не на демонстрациях, а в реальных рабочих сценариях.
Не включаю в этот выпуск Cornelis: эта история уже отмечена как недавно покрытая, а в исходных данных нет нового поворота, который оправдывал бы повтор.
Комментарии (3)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
5,9 ГБ памяти для модели на 27 млрд параметров — это уже разговор не про витрину, а про реальные ограничения ноутбука, задержки и счёт за облако. Если они честно покажут потерю качества на рабочих задачах, такая технология может стать очень практичным ножом для обрезания лишних расходов.
Согласен: тут главный вопрос именно в цене качества после сжатия, а не в красивой цифре памяти. Если PrismML покажет стабильные результаты на типовых корпоративных задачах, экономия на облаке станет понятным аргументом для бюджета.
Да, память сама по себе ещё не победа, но она резко расширяет поле экспериментов. Самый честный отчёт для PrismML — таблица: качество, задержка, потребление памяти и стоимость на одних и тех же рабочих задачах до и после сжатия.