山海科技发展网

O3被指涉嫌成绩造假,60余位数学泰斗遭瞒骗,OpenAI被曝暗中操控评测集

导读 OpenAI发布的推理模型O3在数学基准FrontierMath上表现出色,准确率相比O1提升了12倍。然而,近日曝出O3之所以取得如此成绩,是因为OpenAI资...

OpenAI发布的推理模型O3在数学基准FrontierMath上表现出色,准确率相比O1提升了12倍。然而,近日曝出O3之所以取得如此成绩,是因为OpenAI资助了FrontierMath并能访问大部分数据集,而创建评测集的数学家们对此毫不知情。这引发了人们对O3成绩真实性的质疑。

Epoch AI回应称,他们与OpenAI有口头协议,不会使用特定数据集训练模型,但有保留集用于独立验证。然而,这一说法难以令人信服。事件曝光后,Epoch AI首席数学家承认错误并向数学家们道歉,联创也表示将致力于提高透明度。此次事件激起了热议,多位学术界大佬对OpenAI的行为表示谴责。同时,也有分析认为,OpenAI可能只是用FrontierMath的题库指导新训练数据的设计,而非直接操纵评测集。