IT之家 10 月 12 日消息，據 AAAI（國際先進 AI 協會）官網，由學而思牽頭，聯合谷歌、暨南大學等多家科技企業、高校的專家和學者，將共同舉辦 AAAI 2024 全球大模型數學推理競賽。
該比賽分為中文數學解題、英文數學解題兩個方向，由學而思提供比賽所用的中英文數據集 TAL-SAQ7K-CN、TAL-SAQ6K-EN。據稱，該數據集囊括了國內外多個中小學數學競賽真題。
這次競賽也將是全球首次數學大模型解題競賽，主辦方提供了 3 個作為參考的測評基準：GPT-3.5、GPT-4、好未來自研數學大模型 MathGPT。
在比賽期間，參賽者需使用大模型對給定的數學題目生成推理步驟、答案，主辦方將通過對比參賽模型輸出答案與正確答案之間的準確率，來進行排名。主辦方表示，希望在本次競賽中要求參賽者使用大語言模型來解決 K-12 數學問題。（IT之家註：K-12 代指學前教育至高中教育，普遍用來代指基礎教育。在美國教育體系中，指的是從幼兒園到 12 年級期間的駕馭階段）
據介紹，當前大語言模型具備缺乏複雜推理能力、數值計算不準確等「先天缺陷」。若大模型能夠克服它們，成功應對數學推理的挑戰時，AI 將進入一個「嶄新時代」。
此次比賽日程如下：
-
2023 年 10 月 10 日：開始
-
2023 年 12 月 31 日：最終提交截止日期
-
2024 年 1 月 10 日：公布最終比賽結果
獎項如下：
-
兩個方向的前三名將獲得現金獎勵：一等獎 1000 美元，二等獎 600 美元，三等獎 300 美元。
-
兩個方向的前三名將獲得正式證書，並受邀在 2024 年 AAAI（國際先進 AI 協會）的大會期間作口頭報告。
-
前三名團隊第一作者將受邀撰寫競賽綜述論文。
參考