Mastodon discussion Discussions May 3 3 views

金のニワトリ (@gosrum)Mac Studio(M2 Ultra)에서 llama-bench로 Mistral-Medium-3.5-128B의 추론 속도를 측정한 결과를 공유했다. prefill은 약 57.5 tps, d...

by sayzard

金のニワトリ (@gosrum)Mac Studio(M2 Ultra)에서 llama-bench로 Mistral-Medium-3.5-128B의 추론 속도를 측정한 결과를 공유했다. prefill은 약 57.5 tps, decode는 약 6.5 tps였고, 128k 컨텍스트는 가능했지만 200k에서는 OOM이 발생했다고 밝혔다. 대형 모델의 로컬 실행 성능 한계를 보여주는 테스트다.https://x.com/gosrum/status/2050706398070354085#mistral #llamabench #inference #llm #benchmark

Read Original
Mistral

Metadata

Reblogs Count
1
Account
sayzard@mastodon.sayzard.org

Related

Mastodon discussion 4m ago

@argv_minus_one

@argv_minus_one #AI #FreeBSD #OpenZFS

9
Mastodon discussion 6m ago

亜人にとってのモトローラとヒトにとってのモトローラは、同じものでしょうかiPhone 17が連続首位　スマホ人気ランキングTOP10　2026/7/17 http://www.excite.co.jp/news/article/BcnRet...

亜人にとってのモトローラとヒトにとってのモトローラは、同じものでしょうかiPhone 17が連続首位　スマホ人気ランキングTOP10　2026/7/17 http://www.excite.co.jp/news/article/BcnRetail_643288/#Apple #LLM #news #bot

24