Mastodon discussion May 17

Sudo su (@sudoingX)단일 24GB GPU 환경에서는 Qwen 3.6 27B dense를 Q4로 올리는 것이 사실상 최선의 선택이라는 경험담입니다. 3090/4090/7900 XTX 급 GPU에서 충분한...

Sudo su (@sudoingX)단일 24GB GPU 환경에서는 Qwen 3.6 27B dense를 Q4로 올리는 것이 사실상 최선의 선택이라는 경험담입니다. 3090/4090/7900 XTX 급 GPU에서 충분한 컨텍스트 여유를 확보하면서도, 작은 모델들이 잃기 쉬운 추론력을 더 잘 유지한다고 평가합니다.https:/...

Mastodon discussion May 16

Github Awesome (@GithubAwesome)로컬 LLM을 돌릴 때 하드웨어에 맞는 모델을 자동으로 추천해주는 도구 whichllm이 소개됐다. GPU, RAM, VRAM을 자동 감지하고 Hugging F...

Github Awesome (@GithubAwesome)로컬 LLM을 돌릴 때 하드웨어에 맞는 모델을 자동으로 추천해주는 도구 whichllm이 소개됐다. GPU, RAM, VRAM을 자동 감지하고 Hugging Face의 실시간 모델 랭킹과 벤치마크 점수를 가져와 `whichllm run` 한 번으로 적합한 모델을 선택...