目前，預(yù)訓(xùn)練語(yǔ)言模型已成為自然語(yǔ)言處理領(lǐng)域的基礎(chǔ)模型。研究者可以通過(guò)訓(xùn)練大規(guī)模語(yǔ)料構(gòu)建預(yù)訓(xùn)練模型，再將其遷移到一系列下游任務(wù)上，并實(shí)現(xiàn)性能的顯著提升。同時(shí)Transformer已成為自然語(yǔ)言處理領(lǐng)域最主流網(wǎng)絡(luò)架構(gòu)。隨著預(yù)訓(xùn)練語(yǔ)言模型的規(guī)模越來(lái)越大，在小樣本學(xué)習(xí)領(lǐng)域的性能顯著提升，研究者越來(lái)越關(guān)注這個(gè)領(lǐng)域的發(fā)展和變化。

這些現(xiàn)象是否預(yù)示著自然語(yǔ)言處理領(lǐng)域和知識(shí)圖譜領(lǐng)域更為深刻的范式轉(zhuǎn)變?在大模型成為主流的情況下，有哪些新興研究熱點(diǎn)和機(jī)會(huì)?本章中，青源會(huì)自然語(yǔ)言處理和知識(shí)圖譜方向的學(xué)者探討了這一領(lǐng)域的范式轉(zhuǎn)變情況，并對(duì)未來(lái)研究方向的發(fā)展提出了見解。

來(lái)源：青源會(huì)，報(bào)告節(jié)選如下

互聯(lián)網(wǎng)的一些事