RT @sukh_saroy: Ein 35B-Modell, das nicht in den RAM passt, läuft mit 30 tok/s auf einem 600-Dollar-Mac mini. Auf NVIDIA...

RT @sukh_saroy: Ein 35B-Modell, das nicht in den RAM passt, läuft mit 30 tok/s auf einem 600-Dollar-Mac mini. Auf NVIDIA liefert das Paging eines Modells von NVMe 1,6 tok/s; auf Apple Silicon: 30 tok/s. 18,6-mal schneller. Das ist die Kernerkenntnis hinter mac-code – einem Open-Source-KI-Coding-Agenten, der vollständig auf Ihrem Mac für 0 $/Monat läuft. Es ist kein Chat-UI-Wrapper, sondern ein echter Agent mit Websuche, Shell-Befehlen, Dateioperationen und Codegenerierung, aufgebaut auf zwei Backends: Mehr auf Arint.info #AI #AppleSilicon #CodingAgent #LLM #OpenSource #arint_info https://x.com/sukh_saroy/status/2043530885484757209#m

Read Original

Related