計(jì)算機(jī)科學(xué)家團(tuán)隊(duì)近期開發(fā)出一種更敏捷更具彈性的機(jī)器學(xué)習(xí)模型，它們可以周期性忘記已知信息，而現(xiàn)有大語(yǔ)言模型不具備忘卻能力。

實(shí)測(cè)表明，在很多情況下，“忘卻法”的訓(xùn)練效率很高，忘卻型模型表現(xiàn)也會(huì)更好。韓國(guó)基礎(chǔ)科學(xué)研究院（InstituteforBasicScience）的AI工程師JeaKwon說，新研究意味著AI領(lǐng)域取得明顯進(jìn)步。

“忘卻法”訓(xùn)練效率很高

今天的AI語(yǔ)言引擎大多都是人工神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的。網(wǎng)絡(luò)中的每一個(gè)“神經(jīng)元”都是一個(gè)數(shù)學(xué)函數(shù)，它會(huì)從其它神經(jīng)元接收信號(hào)，它會(huì)運(yùn)算，然后通過多層神經(jīng)元發(fā)送信號(hào)。

最開始時(shí)信息流或多或少都是隨機(jī)的，當(dāng)網(wǎng)絡(luò)不斷與訓(xùn)練數(shù)據(jù)匹配，神經(jīng)元之間流動(dòng)的信息會(huì)不斷優(yōu)化。例如，如果研究人員想訓(xùn)練一個(gè)雙語(yǔ)翻譯模型，它首先要收集海量雙語(yǔ)文本，用文本訓(xùn)練模型，它會(huì)調(diào)整神經(jīng)元之間的連接，將一種語(yǔ)言中的文本與另一種語(yǔ)言中的等效單詞聯(lián)系起來。

上述訓(xùn)練會(huì)耗費(fèi)大量計(jì)算力。如果模型運(yùn)行時(shí)不夠出色，如果后來用戶的需求變了，模型會(huì)很難匹配。

新模型研究人員MikelArtetxe說：“假設(shè)你有一個(gè)模型，里面包含100種語(yǔ)言，有1種語(yǔ)言沒有被覆蓋。如果你想將這種語(yǔ)言添加進(jìn)去，那就要重新訓(xùn)練。”

幾年前，Artetxe和同事用1種語(yǔ)言訓(xùn)練神經(jīng)網(wǎng)絡(luò)，他們抹去神經(jīng)網(wǎng)絡(luò)所知的單詞組成信息，也就是所謂的“Tokens”。Tokens存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)的第一層，它也叫“嵌入層”。對(duì)于其它層，不去理睬。抹去第1語(yǔ)言的Tokens之后，用第2種語(yǔ)言訓(xùn)練，第2種語(yǔ)言新的Tokens可以填充到嵌入層。

雖然模型包含大量不匹配信息，但仍然可以用第2種語(yǔ)言重新訓(xùn)練，也就是說模型可以學(xué)習(xí)、處理第2種語(yǔ)言。研究人員認(rèn)為，雖然嵌入層存儲(chǔ)了第2種語(yǔ)言的語(yǔ)匯特殊信息，但神經(jīng)網(wǎng)絡(luò)更底層存儲(chǔ)了抽象信息，它涉及到人類語(yǔ)言的幕后概念，正是這些概念幫助模型學(xué)習(xí)第二種語(yǔ)言。

研究報(bào)告作者YihongChen認(rèn)為：“我們生活在相同的世界，用不同語(yǔ)言的不同詞匯來賦予相同事物以概念。所以在模型之中會(huì)有相同等級(jí)的推理，比如一個(gè)蘋果，它是甜的，美味的，它不只是一個(gè)詞匯。”

將新語(yǔ)言添加到已訓(xùn)練模型中，采用“忘卻法”效率很高，盡管如此，還是需要重新訓(xùn)練，仍然需要海量數(shù)據(jù)和強(qiáng)大的處理能力。有沒有更好的辦法？當(dāng)然有，不需要訓(xùn)練，直接抹去嵌入層，然后再訓(xùn)練，也就是在初步訓(xùn)練時(shí)周期性重置嵌入層。

Artetxe稱：“如此一來，整個(gè)模型就能適應(yīng)重置。如果你想擴(kuò)展模型，讓它適應(yīng)另一種語(yǔ)言，過程會(huì)變得更容易。”

忘卻型模型表現(xiàn)更好

研究人員用一種比較通用的大語(yǔ)言模型Roberta做實(shí)驗(yàn)，采用周期性忘卻技術(shù)訓(xùn)練，將它與那些用標(biāo)準(zhǔn)、非忘卻方法訓(xùn)練的模型作比較。結(jié)果發(fā)現(xiàn)，在處理第1種語(yǔ)言時(shí)，忘卻型模型得分85.1分，傳統(tǒng)標(biāo)準(zhǔn)模型得分86.1分。再用第2種語(yǔ)言訓(xùn)練，只用約500萬Tokens（第一種語(yǔ)言用了700億）訓(xùn)練，忘卻型模型的精準(zhǔn)度得分降至62.7分，標(biāo)準(zhǔn)模型降到53.3分。

再訓(xùn)練時(shí)如果研究人員施加計(jì)算限制，忘卻型模型的表現(xiàn)會(huì)更好。例如，當(dāng)研究人員將訓(xùn)練長(zhǎng)度從125000步短到5000步，忘卻型模型的平均得分約為57.8分，標(biāo)準(zhǔn)模型降到37.2分，幾乎和猜測(cè)差不多。

因此研究人員得出結(jié)論：在學(xué)習(xí)語(yǔ)言時(shí)，忘卻型模型表現(xiàn)更好一些。

魁北克深度學(xué)習(xí)研究中心Mila的研究人員EvgeniiNikishin認(rèn)為：“因?yàn)槟Ｐ驮谟?xùn)練時(shí)不斷忘卻，然后再重新學(xué)習(xí)，所以后面再教網(wǎng)絡(luò)一些新東西時(shí)會(huì)變得更容易些。”種種跡象顯示，模型理解語(yǔ)言時(shí)會(huì)從更深層次著眼，不只是了解單個(gè)詞匯的意思。

忘卻法與人類大腦的運(yùn)行模式有些相似。舊金山大學(xué)神經(jīng)科學(xué)家BenjaminLevy認(rèn)為：“存儲(chǔ)大量詳細(xì)信息時(shí)人類記憶是相當(dāng)不精準(zhǔn)的。但人類大腦可以記住經(jīng)驗(yàn)要點(diǎn)，記住抽象信息，而且擅長(zhǎng)推斷。讓AI像人類一樣處理信息，比如讓它具備忘卻能力，AI也許會(huì)更有彈性。“

YihongChen認(rèn)為，未來也許會(huì)出現(xiàn)制造語(yǔ)言模型的工廠，這樣的工廠需要忘卻型技術(shù)，它是一個(gè)基本模型，可以快速適應(yīng)新領(lǐng)域。