5月20日，甲骨易AI研究院 “超越”中文大模型測(cè)試集正式發(fā)布。據(jù)介紹，“超越” 的意義是希望中文大語言模型 “超” 出多數(shù)模型只能基于英文數(shù)據(jù)集測(cè)試的現(xiàn)狀，通過發(fā)現(xiàn)大模型的缺陷，從而促進(jìn)大模型理解中文語言的能力，使其 “越” 來越強(qiáng)大。 這里“超”和“越”要單獨(dú)來理解，并不是超越別人的意思。

甲骨易AI研究院首席研究員Felix透露，4月推出了MMCU的測(cè)試集和測(cè)試方法。數(shù)據(jù)集的測(cè)試內(nèi)容涵蓋四大領(lǐng)域：醫(yī)療、法律、心理學(xué)和教育。題目的數(shù)量達(dá)到1萬+，其中包括醫(yī)療領(lǐng)域2819道題，法律領(lǐng)域3695道題，心理學(xué)領(lǐng)域2001道，教育領(lǐng)域3331道。

“我們是把大模型當(dāng)作一個(gè)真正的人類來看待，”Felix表示，測(cè)試集之所以涉及語、數(shù)、物理、化學(xué)這些科目，因?yàn)槿斯ぶ悄鼙仨毾袢祟愐粯?，具備?duì)于世界的基礎(chǔ)的認(rèn)知；而醫(yī)療、法律、心理學(xué)專業(yè)領(lǐng)域則是將大模型視為專業(yè)人士進(jìn)行考核。