Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверахКак на самом деле квантование...

Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверахКак на самом деле квантование ломает вызов инструментов? Собрал бенчмарк QuantMCP, протестировав модели на 4 ГБ VRAM не на синтетике, а на реальных схемах MCP-серверов. Главный инсайт: популярные бенчмарки вроде BFCL систематически врут - корреляция их оценок с реальным падением качества оказалась отрицательной (-0.755). На живых схемах модели ведут себя иначе: Llama-3.2-1B начинает возвращать саму JSON-схему вместо вызова или галлюцинирует имена инструментов, а Qwen3-0.6B выдумывает несуществующие таблицы в SQLite. Также показал, что сложность схемы не гарантирует большую деградацию, а выбор кванта «по таблицам» может привести к обратному эффекту.https://habr.com/ru/articles/1057150/#квантование #functioncalling #MCP #LLM #бенчмарк #QuantMCP #деградация #галлюцинации #JSONсхема #MCPсерверы