Qwen 3.6 27b на 8-12gb vram в llama.cpp до 256к контекстаВышло 2 модели prism-ml/Ternary-Bonsai-27B-gguf и prism-ml/Bons...

Qwen 3.6 27b на 8-12gb vram в llama.cpp до 256к контекстаВышло 2 модели prism-ml/Ternary-Bonsai-27B-gguf и prism-ml/Bonsai-27B-gguf Модели представлены в 2-битном и 1-битном вариантах и занимают всего 7,2 и 3,8 ГБ соответственно. Но самое интересное здесь не размер, а качество после столь агрессивного сжатия. По заявленным результатам, 2-битная версия сохраняет около 95% качества FP16, а 1-битная - примерно 90%. Благодаря столь компактному размеру 1-битную модель можно запускать даже на смартфонах. Например, на iPhone 17 Pro Max скорость генерации достигает примерно 11 токенов в секунду. Для запуска потребовался форк PrismML-Eng/llama.cpp . На RTX 3090 мне удалось получить около 60 токенов в секунду. Скорость вполне достойная, однако потребление видеопамяти меня не устроило: при контексте в 256 тысяч токенов 2-битная версия заняла около 18 ГБ VRAM. В это значение входят примерно 3 ГБ, используемые Windows 11. Я привык работать с TurboQuant версиями llama.cpp , которые заметно эффективн...