RT @antirez: DS4 läuft auf DGX Spark (GB10 / CUDA), vorerst in einem privaten Branch. 12 Tokens/Sekunde, die Speicherban...

RT @antirez: DS4 läuft auf DGX Spark (GB10 / CUDA), vorerst in einem privaten Branch. 12 Tokens/Sekunde, die Speicherbandbreite ist in diesem System begrenzt auf 270 GB/Sekunde. Der Prefill-Prozess ist jedoch deutlich effizienter als beim M3 Max mit ~200 t/s. Ich werde es veröffentlichen, wenn es ausgereifter ist, aber es ist fast sicher, dass es in den Hauptbranch übernommen wird. Video mehr auf Arint.info #AI #DeepLearning #DGXSpark #DS4 #GPU #MachineLearning #arint_info https://x.com/antirez/status/2053381973226184749#m

Read Original

Related