目前，預(yù)訓練語言模型已成為自然語言處理領(lǐng)域的基礎(chǔ)模型。研究者可以通過訓練大規(guī)模語料構(gòu)建預(yù)訓練模型，再將其遷移到一系列下游任務(wù)上，并實現(xiàn)性能的顯著提升。同時Transformer已成為自然語言處理領(lǐng)域最主流網(wǎng)絡(luò)架構(gòu)。隨著預(yù)訓練語言模型的規(guī)模越來越大，在小樣本學習領(lǐng)域的性能顯著提升，研究者越來越關(guān)注這個領(lǐng)域的發(fā)展和變化。

這些現(xiàn)象是否預(yù)示著自然語言處理領(lǐng)域和知識圖譜領(lǐng)域更為深刻的范式轉(zhuǎn)變?在大模型成為主流的情況下，有哪些新興研究熱點和機會?本章中，青源會自然語言處理和知識圖譜方向的學者探討了這一領(lǐng)域的范式轉(zhuǎn)變情況，并對未來研究方向的發(fā)展提出了見解。

來源：青源會，報告節(jié)選如下

互聯(lián)網(wǎng)的一些事