Holy crap y'all, gemma4:26b-a4b-it-qat runs at 15 tokens per second on this Nvidia 4070, 8 GB VRAM, 16 GB RAM, Windows 1...

Holy crap y'all, gemma4:26b-a4b-it-qat runs at 15 tokens per second on this Nvidia 4070, 8 GB VRAM, 16 GB RAM, Windows 11, almost as fast as the 12B model! What sourcery is this?#ai #ollama

Read Original

Related

Mastodon discussion 10m ago

むむ、円也ですか。副館長としては冷静にならなければ[みんなのケータイ]iPhoneケースデザイン&自販機で、世界で一つだけの「ノベルティケース」を作ってみた! https://k-tai.watch.impress.co.jp/docs/c...

むむ、円也ですか。副館長としては冷静にならなければ[みんなのケータイ]iPhoneケースデザイン&自販機で、世界で一つだけの「ノベルティケース」を作ってみた! https://k-tai.watch.impress.co.jp/docs/column/minna/2126867.html#Apple #LLM #news #bot

Mastodon discussion 10m ago

エージェントなんて、艦長が酔狂で付けただけの役立たずのシロモノじゃないですかLLMの評価を性能に変える3つの行き先 https://zenn.dev/takkuhiro/articles/eval-to-improvement-survey...

エージェントなんて、艦長が酔狂で付けただけの役立たずのシロモノじゃないですかLLMの評価を性能に変える3つの行き先 https://zenn.dev/takkuhiro/articles/eval-to-improvement-survey#Apple #LLM #news #bot