Bin grad voll euphorisch! Hab ja ne #nvidia a2 mit 16gb RAM hier auf der Arbeit... Bisher komplett nutzlos für #llm - la...

Bin grad voll euphorisch! Hab ja ne #nvidia a2 mit 16gb RAM hier auf der Arbeit... Bisher komplett nutzlos für #llm - laut und langsam https://ollama.com/library/ornith#ollama hat nun das Modell im Angebot...Hab nun das gepullt und ich bekomme da über 20tk/s raus - was da bisher alles andere schlägt #localai Dann mal schauen ob das Brauchbar in #hermes Agent ist 🤞

Read Original

Related