Посты с тегом #llama.cpp

Transformers научился запускать квантованные модели llama.cpp

Hugging Face добавил в Transformers поддержку квантованных моделей llama.cpp через ядро ggml. Для локальных LLM это важный мост между привычным Python-стеком Transformers и компактными форматами развёртывания, которые используют пользователи GGUF.