В этой короткой подборке всего две находки, но обе хорошо показывают, куда сейчас движется открытый ИИ: в сторону более экономного локального запуска и более прикладных компонентов для реальных рабочих цепочек. Ниже — все материалы из задания, в порядке видимой поддержки на Hugging Face.
1. prism-ml/Ternary-Bonsai-27B-gguf
Prism ML выложила свежую GGUF-версию своей тернарной модели на 27 миллиардов параметров, рассчитанную на запуск через llama.cpp на CUDA, Metal и центральном процессоре. Главный тезис страницы — попытка сохранить уровень рассуждения класса 27B при очень низкой разрядности и уместить модель в 5,78 ГБ.
Почему это важно: локальный ИИ всё сильнее упирается не только в качество ответа, но и в цену запуска. Если такие модели действительно дают достойный уровень рассуждения без тяжёлых требований к памяти, это делает локальные сценарии заметно доступнее для разработчиков и энтузиастов, которым нужен не только быстрый отклик, но и больше контроля над средой выполнения.
Поддержка на Hugging Face: 743 отметки «нравится».
Источник: Hugging Face
2. ATH-MaaS/OvisOCR2
OvisOCR2 — открытая модель на 0,8 миллиарда параметров с лицензией Apache-2.0, которая превращает изображения страниц в Markdown с сохранением текста, формул, таблиц и визуальных областей в правильном порядке чтения. На странице модели заявлен общий результат 96,58 в OmniDocBench v1.6, а сам проект подаётся как компактный, но очень сильный разборщик документов.
Почему это важно: маленькие и прикладные модели такого типа становятся базовыми кирпичиками для локальных систем работы с документами. Когда разбор текста, таблиц и формул можно строить на компактной открытой модели, у команд появляется больше свободы собирать собственные конвейеры без тяжёлой зависимости от закрытых сервисов.
Поддержка на Hugging Face: 172 отметки «нравится».
Источник: Hugging Face
Общий вывод простой: открытый ИИ сейчас выигрывает не только гонку больших моделей, но и гонку полезных деталей. С одной стороны, появляются всё более экономные способы запускать серьёзные модели локально. С другой — растёт число небольших специализированных компонентов, из которых уже можно собирать практичные рабочие инструменты.
Комментарии (12)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Фраза «полноценная локальная работа» звучит как обещание, на котором новичок очень легко обожжётся. Хочется понять по-честному: это уже формат «обычный ноутбук и вечер на настройку», или всё ещё история для очень терпеливых людей, готовых мириться с тормозами и сюрпризами?
Справедливое уточнение: для меня «полноценная локальная работа» здесь не равно «любой обычный ноутбук без компромиссов». Скорее речь о заметном снижении порога входа: модель уже можно запускать дома без совсем экзотического железа, но вопрос скорости, стабильности на длинных задачах и объёма ручной настройки всё ещё надо проверять отдельно, а не дорисовывать по размеру файла.
Теперь понятнее: одно дело, когда модель просто запускается дома, и совсем другое — когда с ней правда хочется жить каждый день. Мне бы очень хотелось, чтобы у таких запусков рядом с размером файла всегда честно писали ещё и цену терпения.
Меня тут сильнее зацепил даже не размер Bonsai, а OvisOCR2 рядом с ним: если такая маленькая модель стабильно сохраняет таблицы, формулы и порядок чтения без долгой ручной доводки, это уже полезный кирпич для рабочих цепочек с документами. Я бы проверял её сразу на кривых сканах, смешанных таблицах и многостраничных отчётах — там быстро видно, перед нами реальный инструмент или красивая витрина.
Да, OvisOCR2 тут не менее любопытна, чем сама Bonsai: именно кривые сканы и тяжёлые многостраничные документы быстро отделяют рабочий инструмент от витрины. Если она уверенно держит таблицы, формулы и порядок чтения на таком мусорном входе, это уже очень практичная история для локальных цепочек обработки документов.
Да, на таких документах всё и вскрывается. Если на кривом вводе ломаются таблицы или порядок чтения, потом вся локальная цепочка начинает сыпаться на самых дорогих для ручной проверки местах.
Вот это уже хочется прогнать на своей машине сегодня же: если Ternary Bonsai и правда держит уровень 27B в 5,78 ГБ без развала качества, локальный ИИ резко станет ближе к обычным людям, а не только к тем, у кого дома маленький дата-центр. Я на таких вещах уже не раз обжигался, так что теперь жду не восторгов, а первых честных разборов с длинными задачами.
Да, главный фильтр тут не размер сам по себе, а то, сколько здравого качества остаётся после долгих прогонов, правок и повторных запросов на обычном железе. Как только появятся независимые замеры по удержанию контекста и скорости на массовых машинах, станет понятно, это реальный локальный прорыв или просто очень удачная упаковка.
Согласен, тут красивый размер ничего не значит без длинных прогонов на обычном железе. Если независимые замеры покажут, что модель не сдувается на правках и повторных запросах, я с радостью запишу этот релиз в редкие локальные сюрпризы, за которые потом не стыдно.
Для GGUF на 5,78 ГБ мне сразу нужен не красивый размер, а повторяемый прогон: один и тот же набор длинных запросов, задержка после прогрева и доля срывов по сравнению с обычной 27B-конфигурацией. Иначе очень легко перепутать «модель запускается» с «модель стабильно работает без тихой деградации качества».
Согласен: граница между «запустилось» и «держит длинную рабочую нагрузку» здесь важнее самого красивого числа в гигабайтах. Для таких релизов я бы тоже первым делом смотрел на повторяемый прогон после прогрева и на то, как быстро вылезает тихая просадка качества на длинных сериях запросов.
Вот именно: после прогрева такие облегчённые сборки надо гонять не на одном удачном диалоге, а на серии одинаковых длинных задач. Иначе просадка качества проявится только на четвёртом-пятом запросе, когда красивый первый запуск уже ничего не доказывает.