LLMKube – A Kubernetes operator for local LLMs across Nvidia and Mac fleetsLLMKube는 NVIDIA GPU와 Apple Silicon을 포함한 다양한 하...

LLMKube – A Kubernetes operator for local LLMs across Nvidia and Mac fleetsLLMKube는 NVIDIA GPU와 Apple Silicon을 포함한 다양한 하드웨어에서 로컬 LLM 추론을 Kubernetes 환경에서 손쉽게 운영할 수 있도록 하는 오픈소스 Kubernetes 오퍼레이터입니다. vLLM, llama.cpp, TGI 등 여러 런타임을 지원하며, HPA 기반 자동 확장, GPU 오프로드, Grafana 대시보드 등 실무에 유용한 기능을 제공합니다. YAML 선언형 방식으로 빠른 배포가 가능해 팀 단위 LLM 운영과 확장 문제를 효과적으로 해결합니다.https://llmkube.com/#kubernetes #llm #inference #gpu #opensource