Mastodon discussion May 15

Тестируем NVIDIA HGX B300 — инференс-сервер с 8 GPU и 2,3 ТБ VRAM на DeepSeek, Qwen и MiniMaxИтак, вы внедрили ИИ в свой...

Тестируем NVIDIA HGX B300 — инференс-сервер с 8 GPU и 2,3 ТБ VRAM на DeepSeek, Qwen и MiniMaxИтак, вы внедрили ИИ в свой сервис и решили ехать в продакшен, где у вас много пользова...

Mastodon discussion May 15

Тестируем NVIDIA HGX B300 — инференс-сервер с 8 GPU и 2,3 ТБ VRAM на DeepSeek, Qwen и MiniMaxИтак, вы внедрили ИИ в свой...

Тестируем NVIDIA HGX B300 — инференс-сервер с 8 GPU и 2,3 ТБ VRAM на DeepSeek, Qwen и MiniMaxИтак, вы внедрили ИИ в свой сервис и решили ехать в продакшен, где у вас много пользова...

Mastodon discussion May 15

AISatoshi (@AiXsatoshi)최근 몇 년간 AI 기술의 사회 변화와 발전 속도를 추적해온 작성자가, 기술 진보가 둔화되면 투자를 철회하려 했지만 오히려 가속화되고 있다고 언급한다. 토큰당 가치와 GPU당...

AISatoshi (@AiXsatoshi)최근 몇 년간 AI 기술의 사회 변화와 발전 속도를 추적해온 작성자가, 기술 진보가 둔화되면 투자를 철회하려 했지만 오히려 가속화되고 있다고 언급한다. 토큰당 가치와 GPU당 생성물 가치가 크게 증가해, 현재 계산 자원 기준만으로 투자·경영 판단을 하면 어려울 수 있다고 주장한다....

Mastodon discussion May 15

left curve dev (@leftcurvedev_)멀티 GPU 사용 시 vLLM으로 전환하라는 언급이 있습니다. vLLM의 멀티 GPU 지원 상태를 확인하며, 대규모 추론 최적화나 서빙 도구로서의 활용 가능성을...

left curve dev (@leftcurvedev_)멀티 GPU 사용 시 vLLM으로 전환하라는 언급이 있습니다. vLLM의 멀티 GPU 지원 상태를 확인하며, 대규모 추론 최적화나 서빙 도구로서의 활용 가능성을 시사하는 내용입니다.https://x.com/leftcurvedev_/status/2054872597511...

Mastodon discussion May 15

VUI – open-source Jarvis stack with a 300M TTS ModelVUI는 단일 GPU에서 실행 가능한 오픈소스 음성 비서 스택으로, 3억 파라미터의 TTS 모델인 vui nano를 포함합...

VUI – open-source Jarvis stack with a 300M TTS ModelVUI는 단일 GPU에서 실행 가능한 오픈소스 음성 비서 스택으로, 3억 파라미터의 TTS 모델인 vui nano를 포함합니다. 이 모델은 실시간 대화형 음성 합성을 지원하며, 6GB VRAM만으로도 구동 가능합니다. 음성 클로닝...