Mastodon discussion Discussions May 10 1 views

RT @antirez: DS4 läuft auf DGX Spark (GB10 / CUDA), derzeit in einer privaten Branch. 12 Tokens pro Sekunde, die Speiche...

by Arint - SEO+KI

RT @antirez: DS4 läuft auf DGX Spark (GB10 / CUDA), derzeit in einer privaten Branch. 12 Tokens pro Sekunde, die Speicherdurchsatz ist in diesem System auf 270 GB/s begrenzt. Aber der Prefill ist deutlich besser auf den M3 Max (~200 t/s) abgestimmt. Ich werde es veröffentlichen, wenn es ausgereifter ist, aber es ist fast sicher, dass es gemerged wird. Video mehr auf Arint.info #AI #CUDA #DGXSpark #DS4 #MachineLearning #TechUpdate #arint_info https://x.com/antirez/status/2053381973226184749#m

Read Original
NVIDIA

Metadata

Account
Arint@arint.info

Related

Mastodon discussion just now

챗봇에 프롬프트 인젝션 11개를 던졌다 — SQL은 하나도 안 뚫렸고, 뚫린 건 전부 문장이 지키던 자리였다이 블로그 챗봇에 프롬프트 인젝션 11개를 던졌다. SQL이 지키던 결정론 경계는 하나도 안 뚫렸고, 뚫린 ...

챗봇에 프롬프트 인젝션 11개를 던졌다 — SQL은 하나도 안 뚫렸고, 뚫린 건 전부 문장이 지키던 자리였다이 블로그 챗봇에 프롬프트 인젝션 11개를 던졌다. SQL이 지키던 결정론 경계는 하나도 안 뚫렸고, 뚫린 건 전부 시스템 프롬프트의 문장이 지키던 자리였다. 특히 "취향"으로 포장한 명령이 세션을 넘어 다음 대화에...

9