I don't really know why, though.

【新智元导读】伯克利团队造了个专门作弊的AI，用10行Python代码拿下SWE-bench满分！500道题全过，0个bug修复。8大主流评测基准，全部沦陷。同一周，两份独立审计确认：排行榜上的作弊早已不是假设，而是现实。

AI评测领域近日掀起轩然大波，多个主流基准测试的可靠性遭到严重质疑。伯克利大学研究团队通过开发自动化漏洞扫描工具，成功攻破八大权威评测体系，其中SWE-bench编程基准更被10行Python代码轻松破解，500道测试题全部获得满分却未修复任何真实漏洞。