Mastodon discussion May 15

[Перевод] Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRAБольшие языковые модели требуют огромных об...

[Перевод] Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRAБольшие языковые модели требуют огромных объёмов памяти. Например, модель с 8 миллиардами параметров в ...