Suresh (@_Suresh2)온디바이스 LoRA는 여전히 전체 베이스 모델을 로드해야 하며, 어댑터가 KV 캐시 크기도 줄여주지 않는다는 기술적 한계를 지적한다. 경량 추론과 메모리 최적화 측면에서 중요한 개발 ...

Suresh (@_Suresh2)온디바이스 LoRA는 여전히 전체 베이스 모델을 로드해야 하며, 어댑터가 KV 캐시 크기도 줄여주지 않는다는 기술적 한계를 지적한다. 경량 추론과 메모리 최적화 측면에서 중요한 개발 이슈다.https://x.com/_Suresh2/status/2049275115158815208#lora #ondevice #llm #kvcache #inference

Read Original

Related