IT采购网10月12日消息，近日，国际先进AI协会(AAAI)宣布，由学而思领衔，与谷歌、暨南大学等多家科技企业和高校的专家学者合作，将联袂举办AAA2024全球大模型数学推理竞赛。
这项竞赛分为中文数学解题和英文数学解题两个方向，竞赛所需的中英文数据集TAL-SAQ7K-CN和TAL-SAQ6K-EN由学而思提供，据悉，这些数据集包含了来自国内外多个中小学数学竞赛的真题。
据IT采购网了解，这次竞赛将是全球首个数学大模型解题竞赛，主办方为参赛者提供了三个参考评估基准：GPT-3.5、GPT-4和好未来自研数学大模型MathGPT。
在竞赛期间，参赛者需要运用这些大模型来生成数学题目的推理步骤和答案。主办方将通过比较参赛模型生成的答案与正确答案之间的准确率来排名。主办方强调，他们期望参赛者使用大型语言模型来解决K-12(指学前教育至高中教育)的数学问题。
据介绍，目前大型语言模型存在一些“天生缺陷”，如缺乏复杂推理能力和数值计算的不准确性。如果这些模型能够克服这些问题，成功应对数学推理的挑战，那么AI领域将迎来一个全新的时代。
竞赛日程如下：
- 2023年10月10日：竞赛开始
- 2023年12月31日：最终提交截止日期
- 2024年1月10日：公布最终竞赛结果
奖项设置如下：
两个方向的前三名将获得现金奖励，一等奖1000美元，二等奖600美元，三等奖300美元。
此外，两个方向的前三名还将获得正式证书，并受邀在2024年AAAI国际大会期间发表口头报告。此次竞赛的前三名团队的第一作者还将被邀请撰写竞赛综述论文。
