2021年11月，在世界權(quán)威多語言理解評測XTREME（Cross-Lingual Transfer Evaluation of Multilingual Encoders）中，哈工大訊飛聯(lián)合實驗室（HFL）團隊以總平均分84.1位列榜首，刷新世界記錄，在四個賽道中獲得三項最好成績。

這也標(biāo)志著科大訊飛多語言理解與跨語言遷移能力再上新臺階。

這個難度有多高？先來看一段話：

The heat required for boiling the water and supplying the steam can be derived from various sources, most commonly from burning combustible materials with an appropriate supply of air in a closed space (called variously combustion chamber, firebox). In manchen F?llen ist die W?rmequelle ein Atomreaktor, Erdw?rme, Solarenergie oder Abw?rme von einem Verbrennungsmotor oder einem Industrieprozess. En el caso de modelos o motores de vapor de juguete, la fuente de calor puede ser un calentador eléctrico.

上述這段話包含了英語、德語、西班牙語，而這只是機器多語言理解評測的冰山一角，它要面臨的是多達40種語言的高難度理解。翻譯成中文就是：

讓水沸騰以提供蒸汽所需熱量有多種來源，最常見的是在封閉空間（別稱有燃燒室、火箱）中供應(yīng)適量空氣來燃燒可燃材料。在某些情況下，熱源是核反應(yīng)堆、地?zé)崮?、太陽能或來自?nèi)燃機或工業(yè)過程的廢氣。如果是模型或玩具蒸汽發(fā)動機，還可以將電加熱元件作為熱源。

最新突破：在40種語言下完成自然語言理解

XTREME評測由谷歌公司舉辦，旨在全面考察模型的多語言理解與跨語言遷移能力。該評測覆蓋了中文、英語、韓語、日語、阿拉伯語、越南語等40種語言，包含了句對分類、序列標(biāo)注、閱讀理解、句子檢索賽道，共四大類九個任務(wù)。吸引了國內(nèi)外眾多知名高校和研究機構(gòu)參加。

XTREME評測包含4大類9個任務(wù)，分別為：

句對分類：XNLI、PAWS-X（自然語言推斷）

序列標(biāo)注：UDPOS（詞性標(biāo)注）、PANX（命名實體識別）

閱讀理解：XQuAD、MLQA、TyDiQA（片段抽取型閱讀理解）

句子檢索：BUCC、Tatoeba（跨語言文本檢索）

與以往單語言自然語言理解評測任務(wù)不同的是，XTREME中的每一個任務(wù)都覆蓋了多種語言，評測的是模型在多種語言上的理解能力平均指標(biāo)，因此對系統(tǒng)模型的多語言理解與跨語言遷移能力要求大大提高。

其難度可想而知，榜單上的模型也代表了多語言模型的頂尖水平，因此獲得了眾多機構(gòu)和高校的廣泛關(guān)注。

機器是怎么做到多語言理解的？

本次哈工大訊飛聯(lián)合實驗室提交的CoFe模型以總成績84.1分位居XTREME評測榜首，有三大法寶：

1、加入了自主研發(fā)的跨語言對比學(xué)習(xí)技術(shù)，鼓勵模型學(xué)習(xí)不同語言中的語義相似性。

2、利用知識蒸餾技術(shù)進行自監(jiān)督學(xué)習(xí)和知識遷移，進一步提升了模型在各個語言上效果的穩(wěn)定性。

3、創(chuàng)新性地融入了細(xì)粒度的語言學(xué)特征，幫助模型克服訓(xùn)練不足的困難，解決低資源語言學(xué)習(xí)不充分的問題，同時使之適應(yīng)不同語言的形態(tài)學(xué)特點。

也就是說，通過本土語言學(xué)習(xí)，機器可以在少量其他語言語料的情況下，通過“類比”學(xué)會這門語言，減少了收集語料、語音標(biāo)注等大量工作。

這就是多語言理解與跨語言遷移能力！

發(fā)布少數(shù)民族語言預(yù)訓(xùn)練模型CINO

“要讓中文語音技術(shù)由中國人做到最好?！?/p>

成立以來，科大訊飛初心未改，持續(xù)關(guān)注并積極推動中文相關(guān)信息處理技術(shù)的研究與發(fā)展。少數(shù)民族語言處理是中文信息處理中不可缺少的一環(huán)，也是中文信息處理多樣性的一種體現(xiàn)。這項技術(shù)的進步將極大改善我國少數(shù)民族語言學(xué)習(xí)問題。

目前由于國內(nèi)少數(shù)民族語言語料稀缺、獲取難度大等原因，相關(guān)技術(shù)研究相對匱乏，而主流的多語言模型也無法很好地處理國內(nèi)少數(shù)民族語言文字。為了促進中國少數(shù)民族語言信息處理的研究與發(fā)展。2021年11月，科大訊飛發(fā)布了首個面向少數(shù)民族語言的多語言預(yù)訓(xùn)練模型CINO（Chinese mINOrity pre-trained language model），彌補相關(guān)資源的空白，并將相關(guān)預(yù)訓(xùn)練模型和任務(wù)數(shù)據(jù)開源。希望未來能夠進一步促進業(yè)內(nèi)少數(shù)民族語言相關(guān)的技術(shù)研究，推動少數(shù)民族語言相關(guān)技術(shù)的應(yīng)用落地。未來支持各少數(shù)民族語言的多語言搜索引擎等文字應(yīng)用工具或?qū)⒊蔀榭赡堋?/p>