近日，騰訊云小微提出的多語言預訓練模型“神農(nóng)MShenNonG”以平均分85分的成績登頂XTREME榜單。與此同時，該模型僅包含5億級別的小參數(shù)量，也一舉刷新業(yè)界記錄。

據(jù)了解，該榜單是目前最受國內外行業(yè)公司認可的多語言評測榜單，研究人員以多語言預訓練模型在此榜單的表現(xiàn)作為其跨語言遷移能力的評價標準。

目前，全球有超過6900種語言，其中大多數(shù)語種都沒有足夠的數(shù)據(jù)支撐研究者將其單獨訓練成成熟模型。騰訊云小微深耕知識挖掘、語義理解技術以及預訓練技術，“神農(nóng)MShenNonG”此次登頂XTREME榜單，代表了其從單語言到多語言理解能力的一個顯著擴展，將跨語言遷移開發(fā)由市場平均的月級降低至10天。同時，“神農(nóng)”系列的預訓練模型已應用于云小微全系列產(chǎn)品矩陣，可顯著提升AI語音助手、智能客服機器人、數(shù)智人等產(chǎn)品的多項技術指標，助力出海企業(yè)快速落地本地化服務。

刷新行業(yè)記錄，跨語言遷移開發(fā)周期縮短至10天

憑借對自然語言應用程序等領域發(fā)展研究的積極作用，XTREME榜單備受業(yè)界認可。

由于大多數(shù)的NLP預訓練模型主要為中文、英文等高資源語種，低資源小語種的研究并未得到足夠重視。2020年，來自 CMU、谷歌研究院和 DeepMind 的科學家們提出了覆蓋四十種語言、橫跨了12個語系的大規(guī)模多語言多任務基準 XTREME，其中包含了9項需要不同句法或語義層面進行推理的任務，并可以為語句文本分類、結構預測、語句檢索和跨語言問答等自然語言處理任務提供有效支持。

此次登頂XTREME榜單，主要是由于“神農(nóng)MShenNonG”在以下三個不同維度做了創(chuàng)新性的嘗試。

首先，在數(shù)據(jù)層面，預訓練模型的訓練數(shù)據(jù)主要由兩種形式的數(shù)據(jù)構成：單語種句子和雙語平行句對。此前的模型處理方法是，對于單語種句子，單純地將單語種信息輸入模型，并以MLM作為訓練目標，非常依賴相似語系之間“共享詞”的預測來建模各語言間的語義對齊關系；對于平行句對，又依賴平行語料的規(guī)模和組合，模型對其對齊關系的建模存在一定缺陷。為緩解以上問題，騰訊云小微研究團隊提出了基于混合編碼的數(shù)據(jù)構造方式，分別利用雙語對齊詞典和句子檢索工具，構造大量的“多語言混合”訓練數(shù)據(jù)。

其次，在模型層面，研究團隊提出了一種可插拔的、基于多尺度的多語言信息融合模塊，分別從詞級別和句子級別多個尺度融入多語言信息，期望在訓練過程中，加強所有語種的詞向量的更新和對齊，解決多語言模型對低資源語種、低頻次詞匯建模較弱的問題。

第三，在訓練方式上，研究團隊分別通過語種層面和語義層面引入對比學習策略，使得相同語義的表示相互拉近，不同語義的表示相互遠離，進一步強化多語言預訓練模型對于多語言的語義建模能力和語義匹配能力。

值得注意的是，研究團隊重視多尺度的多語言的一致性建模，以強化預訓練模型的跨語言遷移能力，并將跨語言遷移開發(fā)由市場平均的月級降低至周級，同時，相較市場平均1個月以上的模型迭代周期，“神農(nóng)MShenNonG”僅需10天。

多次登頂權威榜單 神農(nóng)以技術優(yōu)勢探索出海場景

“神農(nóng)MShenNonG”登頂XTREME榜單，依托于騰訊云小微團隊技術研發(fā)和行業(yè)知識的長期積累。此前，騰訊云小微的中文預訓練模型ShenNonG就以十億級參數(shù)量一舉登頂CLUE總排行榜、1.1分類任務、閱讀理解任務和命名實體任務四個榜單，刷新行業(yè)記錄。

專注于語義理解技術以及預訓練技術的研發(fā)，此次登頂XTREME榜單代表了騰訊云小微從單語言到多語言理解相關技術的一個擴展。目前，“神農(nóng)”系列的預訓練模型已應用于全系列產(chǎn)品矩陣，可顯著提升AI語音助手、智能客服機器人、數(shù)智人等產(chǎn)品的多項技術指標。

隨著開發(fā)的不斷成熟，優(yōu)勢產(chǎn)品向海外拓展成為不少國內企業(yè)的選擇。但產(chǎn)品出海通常要面臨適應新語種、業(yè)務本地化的挑戰(zhàn)。過往，以機器翻譯的方式將單語種遷移到多語言場景，不僅費時費力，效果也差強人意。相對于傳統(tǒng)的機器翻譯模式，騰訊云小微“神農(nóng)MShenNonG”預訓練模型有著低成本、低門檻的優(yōu)勢，以輕量參數(shù)為多行業(yè)、小語種提供跨語言遷移服務，助力企業(yè)降本增效，落地出海業(yè)務。

未來，騰訊云小微團隊還將持續(xù)深耕知識挖掘和深度學習技術，探索更多技術落地場景，以科技助力各行業(yè)的企業(yè)更好地服務用戶，為社會創(chuàng)造更多價值。