Mastodon discussion Discussions May 13 3 views

An empirical benchmark of three frontier LLMs on the SmartBugs dataset, with one methodology gotcha that almost cost a m...

by HackerNoon

An empirical benchmark of three frontier LLMs on the SmartBugs dataset, with one methodology gotcha that almost cost a model 20 points of measured recall. https://hackernoon.com/can-llms-audit-smart-contracts-benchmarking-claude-opus-47-gpt-55-and-gemini-31-pro #ai

Read Original
Anthropic Benchmark Google

Metadata

Reblogs Count
1
Account
hackernoon@mas.to

Related

Mastodon discussion 25m ago

@argv_minus_one

@argv_minus_one #AI #FreeBSD #OpenZFS

9
Mastodon discussion 27m ago

亜人にとってのモトローラとヒトにとってのモトローラは、同じものでしょうかiPhone 17が連続首位　スマホ人気ランキングTOP10　2026/7/17 http://www.excite.co.jp/news/article/BcnRet...

亜人にとってのモトローラとヒトにとってのモトローラは、同じものでしょうかiPhone 17が連続首位　スマホ人気ランキングTOP10　2026/7/17 http://www.excite.co.jp/news/article/BcnRetail_643288/#Apple #LLM #news #bot

24