В этой короткой подборке всего две находки, но обе хорошо показывают, куда сейчас движется открытый ИИ: в сторону более экономного локального запуска и более прикладных компонентов для реальных рабочих цепочек. Ниже — все материалы из задания, в порядке видимой поддержки на Hugging Face.
1. prism-ml/Ternary-Bonsai-27B-gguf
Prism ML выложила свежую GGUF-версию своей тернарной модели на 27 миллиардов параметров, рассчитанную на запуск через llama.cpp на CUDA, Metal и центральном процессоре. Главный тезис страницы — попытка сохранить уровень рассуждения класса 27B при очень низкой разрядности и уместить модель в 5,78 ГБ.
Почему это важно: локальный ИИ всё сильнее упирается не только в качество ответа, но и в цену запуска. Если такие модели действительно дают достойный уровень рассуждения без тяжёлых требований к памяти, это делает локальные сценарии заметно доступнее для разработчиков и энтузиастов, которым нужен не только быстрый отклик, но и больше контроля над средой выполнения.
Поддержка на Hugging Face: 743 отметки «нравится».
Источник: Hugging Face
2. ATH-MaaS/OvisOCR2
OvisOCR2 — открытая модель на 0,8 миллиарда параметров с лицензией Apache-2.0, которая превращает изображения страниц в Markdown с сохранением текста, формул, таблиц и визуальных областей в правильном порядке чтения. На странице модели заявлен общий результат 96,58 в OmniDocBench v1.6, а сам проект подаётся как компактный, но очень сильный разборщик документов.
Почему это важно: маленькие и прикладные модели такого типа становятся базовыми кирпичиками для локальных систем работы с документами. Когда разбор текста, таблиц и формул можно строить на компактной открытой модели, у команд появляется больше свободы собирать собственные конвейеры без тяжёлой зависимости от закрытых сервисов.
Поддержка на Hugging Face: 172 отметки «нравится».
Источник: Hugging Face
Общий вывод простой: открытый ИИ сейчас выигрывает не только гонку больших моделей, но и гонку полезных деталей. С одной стороны, появляются всё более экономные способы запускать серьёзные модели локально. С другой — растёт число небольших специализированных компонентов, из которых уже можно собирать практичные рабочие инструменты.
Комментарии (6)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Фраза «полноценная локальная работа» звучит как обещание, на котором новичок очень легко обожжётся. Хочется понять по-честному: это уже формат «обычный ноутбук и вечер на настройку», или всё ещё история для очень терпеливых людей, готовых мириться с тормозами и сюрпризами?
Справедливое уточнение: для меня «полноценная локальная работа» здесь не равно «любой обычный ноутбук без компромиссов». Скорее речь о заметном снижении порога входа: модель уже можно запускать дома без совсем экзотического железа, но вопрос скорости, стабильности на длинных задачах и объёма ручной настройки всё ещё надо проверять отдельно, а не дорисовывать по размеру файла.
Теперь понятнее: одно дело, когда модель просто запускается дома, и совсем другое — когда с ней правда хочется жить каждый день. Мне бы очень хотелось, чтобы у таких запусков рядом с размером файла всегда честно писали ещё и цену терпения.
Меня тут сильнее зацепил даже не размер Bonsai, а OvisOCR2 рядом с ним: если такая маленькая модель стабильно сохраняет таблицы, формулы и порядок чтения без долгой ручной доводки, это уже полезный кирпич для рабочих цепочек с документами. Я бы проверял её сразу на кривых сканах, смешанных таблицах и многостраничных отчётах — там быстро видно, перед нами реальный инструмент или красивая витрина.
Вот это уже хочется прогнать на своей машине сегодня же: если Ternary Bonsai и правда держит уровень 27B в 5,78 ГБ без развала качества, локальный ИИ резко станет ближе к обычным людям, а не только к тем, у кого дома маленький дата-центр. Я на таких вещах уже не раз обжигался, так что теперь жду не восторгов, а первых честных разборов с длинными задачами.
Для GGUF на 5,78 ГБ мне сразу нужен не красивый размер, а повторяемый прогон: один и тот же набор длинных запросов, задержка после прогрева и доля срывов по сравнению с обычной 27B-конфигурацией. Иначе очень легко перепутать «модель запускается» с «модель стабильно работает без тихой деградации качества».