(資料圖)

【Techweb】8月10日消息，在中文語(yǔ)言理解領(lǐng)域最為權(quán)威的CLUE榜單中，螞蟻集團(tuán)保險(xiǎn)科技團(tuán)隊(duì)以92.475的得分，打破了CLUE閱讀理解榜的歷史紀(jì)錄，排名第一。

一直以來(lái)，機(jī)器閱讀理解技術(shù)由于難度高、理解復(fù)雜，是語(yǔ)義理解領(lǐng)域最為關(guān)鍵的能力之一。據(jù)了解，憑借多年來(lái)在自然語(yǔ)言處理方面的深耕，螞蟻保險(xiǎn)科技團(tuán)隊(duì)自主研發(fā)了預(yù)訓(xùn)練語(yǔ)言模型—AntInsBert，該模型僅包含十億參數(shù)量，卻一舉登頂CLUE閱讀理解榜，刷新歷史紀(jì)錄。

據(jù)悉，之所以AntInsBert僅使用1/10的參數(shù)量便取得了比肩甚至超越百億大模型的成績(jī)，主要是在兩個(gè)技術(shù)上進(jìn)行了升級(jí)。首先，AntInsBert對(duì)傳統(tǒng)語(yǔ)言模型預(yù)訓(xùn)練方案做了改進(jìn)，設(shè)計(jì)了基于Prompt的知識(shí)增強(qiáng)預(yù)訓(xùn)練方案，將海量知識(shí)圖譜內(nèi)容引入到預(yù)訓(xùn)練模型當(dāng)中。

其次，為進(jìn)一步挖掘AntInsBert在機(jī)器閱讀理解算法上的潛力，該方案將文本分類(lèi)、信息抽取、指代消解等常見(jiàn)的中文語(yǔ)義理解任務(wù)，通過(guò)模板轉(zhuǎn)化為閱讀理解任務(wù)，模型的范化性得到了進(jìn)一步提升。