Germany's Soofi consortium withdrew benchmark scores after discovering its training data contained paraphrased questions from the GPQA evaluation set. The 11.1-point gain on GPQA-Diamond can no longer stand as evidence of model capability. A researcher spotted the contamination; the team confirmed it within a week. https://www.implicator.ai/soofi-gpqa-contamination-scores-withdrawn/ #ai #evaluation #openscience
Related
Dont be like oak.Be like reed in the storm.I have this problem in my Ai #Harness.I take a complex problem, decompose it,...
Dont be like oak.Be like reed in the storm.I have this problem in my Ai #Harness.I take a complex problem, decompose it, and then varioius engines to bruteforce it...The decomp is ...
do naszego systemu ticketowego dodali ai bota, który po każdym nowym komentarzu wkleja jebitne podsumowanie o czym ten k...
do naszego systemu ticketowego dodali ai bota, który po każdym nowym komentarzu wkleja jebitne podsumowanie o czym ten komentarz był 🥴korespondencja jest totalnie nieczytelna bo co...
Как делать скилы правильно и собрать из них маркетплейсНачалось всё с подборки промтов cursor-vibe-prompts , которую я т...
Как делать скилы правильно и собрать из них маркетплейсНачалось всё с подборки промтов cursor-vibe-prompts , которую я таскал из проекта в проект копипастой, и в какой-то момент ме...