近日，騰訊云小微提出的多語言預(yù)訓(xùn)練模型“神農(nóng)MShenNonG”以平均分85分的成績登頂XTREME榜單。與此同時(shí)，該模型僅包含5億級(jí)別的小參數(shù)量，也一舉刷新業(yè)界記錄。

據(jù)了解，該榜單是目前最受國內(nèi)外行業(yè)公司認(rèn)可的多語言評(píng)測(cè)榜單，研究人員以多語言預(yù)訓(xùn)練模型在此榜單的表現(xiàn)作為其跨語言遷移能力的評(píng)價(jià)標(biāo)準(zhǔn)。

目前，全球有超過6900種語言，其中大多數(shù)語種都沒有足夠的數(shù)據(jù)支撐研究者將其單獨(dú)訓(xùn)練成成熟模型。騰訊云小微深耕知識(shí)挖掘、語義理解技術(shù)以及預(yù)訓(xùn)練技術(shù)，“神農(nóng)MShenNonG”此次登頂XTREME榜單，代表了其從單語言到多語言理解能力的一個(gè)顯著擴(kuò)展，將跨語言遷移開發(fā)由市場平均的月級(jí)降低至10天。同時(shí)，“神農(nóng)”系列的預(yù)訓(xùn)練模型已應(yīng)用于云小微全系列產(chǎn)品矩陣，可顯著提升AI語音助手、智能客服機(jī)器人、數(shù)智人等產(chǎn)品的多項(xiàng)技術(shù)指標(biāo)，助力出海企業(yè)快速落地本地化服務(wù)。

刷新行業(yè)記錄，跨語言遷移開發(fā)周期縮短至10天

憑借對(duì)自然語言應(yīng)用程序等領(lǐng)域發(fā)展研究的積極作用，XTREME榜單備受業(yè)界認(rèn)可。

由于大多數(shù)的NLP預(yù)訓(xùn)練模型主要為中文、英文等高資源語種，低資源小語種的研究并未得到足夠重視。2020年，來自 CMU、谷歌研究院和 DeepMind 的科學(xué)家們提出了覆蓋四十種語言、橫跨了12個(gè)語系的大規(guī)模多語言多任務(wù)基準(zhǔn) XTREME，其中包含了9項(xiàng)需要不同句法或語義層面進(jìn)行推理的任務(wù)，并可以為語句文本分類、結(jié)構(gòu)預(yù)測(cè)、語句檢索和跨語言問答等自然語言處理任務(wù)提供有效支持。

此次登頂XTREME榜單，主要是由于“神農(nóng)MShenNonG”在以下三個(gè)不同維度做了創(chuàng)新性的嘗試。

首先，在數(shù)據(jù)層面，預(yù)訓(xùn)練模型的訓(xùn)練數(shù)據(jù)主要由兩種形式的數(shù)據(jù)構(gòu)成：單語種句子和雙語平行句對(duì)。此前的模型處理方法是，對(duì)于單語種句子，單純地將單語種信息輸入模型，并以MLM作為訓(xùn)練目標(biāo)，非常依賴相似語系之間“共享詞”的預(yù)測(cè)來建模各語言間的語義對(duì)齊關(guān)系；對(duì)于平行句對(duì)，又依賴平行語料的規(guī)模和組合，模型對(duì)其對(duì)齊關(guān)系的建模存在一定缺陷。為緩解以上問題，騰訊云小微研究團(tuán)隊(duì)提出了基于混合編碼的數(shù)據(jù)構(gòu)造方式，分別利用雙語對(duì)齊詞典和句子檢索工具，構(gòu)造大量的“多語言混合”訓(xùn)練數(shù)據(jù)。

其次，在模型層面，研究團(tuán)隊(duì)提出了一種可插拔的、基于多尺度的多語言信息融合模塊，分別從詞級(jí)別和句子級(jí)別多個(gè)尺度融入多語言信息，期望在訓(xùn)練過程中，加強(qiáng)所有語種的詞向量的更新和對(duì)齊，解決多語言模型對(duì)低資源語種、低頻次詞匯建模較弱的問題。

第三，在訓(xùn)練方式上，研究團(tuán)隊(duì)分別通過語種層面和語義層面引入對(duì)比學(xué)習(xí)策略，使得相同語義的表示相互拉近，不同語義的表示相互遠(yuǎn)離，進(jìn)一步強(qiáng)化多語言預(yù)訓(xùn)練模型對(duì)于多語言的語義建模能力和語義匹配能力。

值得注意的是，研究團(tuán)隊(duì)重視多尺度的多語言的一致性建模，以強(qiáng)化預(yù)訓(xùn)練模型的跨語言遷移能力，并將跨語言遷移開發(fā)由市場平均的月級(jí)降低至周級(jí)，同時(shí)，相較市場平均1個(gè)月以上的模型迭代周期，“神農(nóng)MShenNonG”僅需10天。

多次登頂權(quán)威榜單 神農(nóng)以技術(shù)優(yōu)勢(shì)探索出海場景

“神農(nóng)MShenNonG”登頂XTREME榜單，依托于騰訊云小微團(tuán)隊(duì)技術(shù)研發(fā)和行業(yè)知識(shí)的長期積累。此前，騰訊云小微的中文預(yù)訓(xùn)練模型ShenNonG就以十億級(jí)參數(shù)量一舉登頂CLUE總排行榜、1.1分類任務(wù)、閱讀理解任務(wù)和命名實(shí)體任務(wù)四個(gè)榜單，刷新行業(yè)記錄。

專注于語義理解技術(shù)以及預(yù)訓(xùn)練技術(shù)的研發(fā)，此次登頂XTREME榜單代表了騰訊云小微從單語言到多語言理解相關(guān)技術(shù)的一個(gè)擴(kuò)展。目前，“神農(nóng)”系列的預(yù)訓(xùn)練模型已應(yīng)用于全系列產(chǎn)品矩陣，可顯著提升AI語音助手、智能客服機(jī)器人、數(shù)智人等產(chǎn)品的多項(xiàng)技術(shù)指標(biāo)。

隨著開發(fā)的不斷成熟，優(yōu)勢(shì)產(chǎn)品向海外拓展成為不少國內(nèi)企業(yè)的選擇。但產(chǎn)品出海通常要面臨適應(yīng)新語種、業(yè)務(wù)本地化的挑戰(zhàn)。過往，以機(jī)器翻譯的方式將單語種遷移到多語言場景，不僅費(fèi)時(shí)費(fèi)力，效果也差強(qiáng)人意。相對(duì)于傳統(tǒng)的機(jī)器翻譯模式，騰訊云小微“神農(nóng)MShenNonG”預(yù)訓(xùn)練模型有著低成本、低門檻的優(yōu)勢(shì)，以輕量參數(shù)為多行業(yè)、小語種提供跨語言遷移服務(wù)，助力企業(yè)降本增效，落地出海業(yè)務(wù)。

未來，騰訊云小微團(tuán)隊(duì)還將持續(xù)深耕知識(shí)挖掘和深度學(xué)習(xí)技術(shù)，探索更多技術(shù)落地場景，以科技助力各行業(yè)的企業(yè)更好地服務(wù)用戶，為社會(huì)創(chuàng)造更多價(jià)值。