RT @sudoingX: Vor einem Jahr war dies auf einer einzelnen Consumer-GPU noch nicht möglich. Heute ist es einfach so, und ...

RT @sudoingX: Vor einem Jahr war dies auf einer einzelnen Consumer-GPU noch nicht möglich. Heute ist es einfach so, und ich bin immer noch ein wenig überwältigt davon. Google hat vor zwei Tagen Gemma 4 12b veröffentlicht, und ich habe es auf einer einzigen 3090er-Karte geladen. Nativ multimodal – Text, Bild, Video, Audio alles in einem Netzwerk, ohne separate Encoder, die nachträglich angehängt wurden. 256k Kontextfenster, Apache 2.0-Lizenz, Gewichte, die ich tatsächlich besitze und für immer offline betreiben kann. Und das Ding läuft tatsächlich: Vollständiges Reasoning aktiviert, der gesamte 256k-Kontext passt in 16 GB VRAM, mit weiteren 8 GB Reserve. Ich saß da und sah zu, wie es eine Frage Token für Token in seiner eigenen Reasoning-Trace durchdachte, auf einer Karte, die weniger kostet als ein Monat einiger API-Rechnungen, in meinem eigenen Terminal, ohne Internetverbindung. Die daraus entstehende Textqualität ist wirklich scharf, mit sauberer Struktur und echter Kohärenz. Ich exp...