Mastodon discussion May 27

Sudo su (@sudoingX)10년 된 GTX 1080 8GB Pascal GPU에서 Qwen3 8B를 로컬로 18~20 tok/s 속도로 구동하고, Hermes Agent로 자율 실행까지 성공했다는 사례입니다...

Sudo su (@sudoingX)10년 된 GTX 1080 8GB Pascal GPU에서 Qwen3 8B를 로컬로 18~20 tok/s 속도로 구동하고, Hermes Agent로 자율 실행까지 성공했다는 사례입니다. 구형 소비자용 GPU에서도 소형 LLM 에이전트 실험이 가능하다는 점을 보여줍니다.https://x.co...