日前，主題為“共創(chuàng)產(chǎn)業(yè)智能新氣象”的多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體（以下簡(jiǎn)稱(chēng)“多模態(tài)人工智能聯(lián)合體”）第二屆大會(huì)在武漢舉行，中國(guó)科學(xué)院自動(dòng)化研究所（以下簡(jiǎn)稱(chēng)“中科院自動(dòng)化所”），武漢人工智能研究院（以下簡(jiǎn)稱(chēng)“武漢人工智能研究院”）和華為技術(shù)有限公司（以下簡(jiǎn)稱(chēng)“華為技術(shù)有限公司”）領(lǐng)銜的“多模態(tài)基礎(chǔ)大模型”技術(shù)白皮書(shū)正式發(fā)布。

“目前人工智能正在由單模態(tài)和有監(jiān)督學(xué)習(xí)向多模態(tài)和自監(jiān)督學(xué)習(xí)時(shí)代發(fā)展。”2017年12月17日下午，由中國(guó)自動(dòng)化學(xué)會(huì)主辦的2018中國(guó)機(jī)器人大會(huì)在北京國(guó)家會(huì)議中心舉行。大會(huì)以“智能新基建·創(chuàng)新驅(qū)動(dòng)發(fā)展”為主題。中國(guó)工程院院士倪光南出席并講話。工業(yè)和信息化部部長(zhǎng)苗圩主持會(huì)議。開(kāi)幕式上致辭。演講嘉賓發(fā)言。會(huì)后合影?；顒?dòng)結(jié)束。中國(guó)科學(xué)院自動(dòng)化研究所所長(zhǎng)，武漢人工智能研究所所長(zhǎng)王金橋說(shuō)：“多模態(tài)人工智能前景一定會(huì)無(wú)限風(fēng)光！”

數(shù)據(jù)標(biāo)注依賴(lài)性下降超過(guò)1個(gè)量級(jí)

要理解多模態(tài)人工智能就必須先理解什么是模態(tài)，“通常情況下，每個(gè)信息源或形態(tài)，都可叫做一個(gè)模態(tài)”。中國(guó)科學(xué)院院士、清華大學(xué)教授王金橋在接受《瞭望》新聞周刊采訪時(shí)指出，所謂多模態(tài)是指不同媒體（包括視頻）之間相互轉(zhuǎn)換或影響所呈現(xiàn)出來(lái)的多種視覺(jué)表現(xiàn)方式。那么什么叫做多模態(tài)？它有哪些特征呢？“我認(rèn)為很重要！”王金橋如是說(shuō)。怎么做？怎么辦？王金橋表示。

人在信息獲取，環(huán)境感知，知識(shí)學(xué)習(xí)和表達(dá)過(guò)程中，均以多模態(tài)輸入輸出。例如，一個(gè)人要想發(fā)現(xiàn)一塊草坪上開(kāi)了花，他可以從視覺(jué)這個(gè)模態(tài)去發(fā)現(xiàn)，即直接從眼睛去觀察，或從嗅覺(jué)這個(gè)模態(tài)去發(fā)現(xiàn)即從鼻子去嗅，或從觸覺(jué)這個(gè)模態(tài)去發(fā)現(xiàn)即手去觸碰。而當(dāng)我們遇到陌生事物時(shí)，又可以通過(guò)聽(tīng)覺(jué)和觸覺(jué)兩種不同的途徑去了解它。這其中，最主要的便是通過(guò)視覺(jué)獲得對(duì)該事物的認(rèn)識(shí)。那么究竟如何才能得到正確的結(jié)果呢？答案很簡(jiǎn)單——找！找！什么？找花嗎？找？找！找花吧？在面臨找花這一難題時(shí)，通常情況下都是通過(guò)視覺(jué)和嗅覺(jué)多模態(tài)展開(kāi)。“從一定程度上講，多模態(tài)輸入輸出方式恰恰是人類(lèi)智慧最主要的表現(xiàn)之一”。王金橋說(shuō)。

當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)主要由圖像，視頻，文字和音頻等各種模態(tài)組成。由于其各自具有獨(dú)特的特點(diǎn)，在使用時(shí)也有著很大的差異。因此，人們通常將它們統(tǒng)稱(chēng)為多模態(tài)數(shù)據(jù)。隨著技術(shù)的進(jìn)步，這類(lèi)信息的處理變得更加便利。比如語(yǔ)音識(shí)別。人臉識(shí)別等等。智能化越來(lái)越強(qiáng)。效率更高。成本更低。應(yīng)用更廣。效果更佳。對(duì)于人工智能而言，為了更好的把握，分析，使用網(wǎng)絡(luò)中的數(shù)據(jù)，必須能將這些多模態(tài)數(shù)據(jù)有計(jì)劃的協(xié)調(diào)與分析。

王金橋說(shuō)：“技術(shù)創(chuàng)新是多模態(tài)人工智能行業(yè)發(fā)展的主要驅(qū)動(dòng)力之一"。從20世紀(jì)70年代多模態(tài)學(xué)習(xí)開(kāi)始至今，隨著近幾年生成式預(yù)訓(xùn)練和基于Transformer雙向編碼器表示的大尺度預(yù)訓(xùn)練模型迅速出現(xiàn)，人工智能領(lǐng)域正經(jīng)歷從有監(jiān)督學(xué)習(xí)到無(wú)監(jiān)督學(xué)習(xí)下“大數(shù)據(jù)+大模型”大尺度預(yù)訓(xùn)練范式的變革，多模態(tài)人工智能的發(fā)展達(dá)到一個(gè)新高峰。

近年來(lái)多模態(tài)人工智能（MMAI）在場(chǎng)景泛化性和數(shù)據(jù)依賴(lài)性上有較大技術(shù)突破。

“多模態(tài)人工智能在針對(duì)具體任務(wù)場(chǎng)景開(kāi)展小數(shù)據(jù)標(biāo)注學(xué)習(xí)與微調(diào)時(shí)，采用自監(jiān)督學(xué)習(xí)方式學(xué)習(xí)大量無(wú)標(biāo)注數(shù)據(jù)，與單模態(tài)人工智能相比，對(duì)數(shù)據(jù)標(biāo)注依賴(lài)程度下降1個(gè)數(shù)量級(jí)甚至更多。中國(guó)科學(xué)院上海技術(shù)物理研究所研究員、博士生導(dǎo)師王金橋介紹，在他看來(lái)，“多模態(tài)智能”將成為未來(lái)機(jī)器學(xué)習(xí)領(lǐng)域最重要的發(fā)展方向之一。“人工智能是個(gè)大問(wèn)題，也是一大挑戰(zhàn)。”王金橋如是說(shuō)。什么是人工智能？如何實(shí)現(xiàn)人工智能？有哪些優(yōu)勢(shì)？答：很簡(jiǎn)單。怎么做呢？王金橋表示。

“多模態(tài)大模加小模”的格局或成為主流

2017年國(guó)務(wù)院制發(fā)了《新一代人工智能發(fā)展規(guī)劃》（以下簡(jiǎn)稱(chēng)《規(guī)劃》）.人工智能技術(shù)所帶來(lái)的產(chǎn)業(yè)變革正處于加速演變之中。隨著智能制造和工業(yè)互聯(lián)網(wǎng)等戰(zhàn)略性新興產(chǎn)業(yè)快速興起，人工智能已成為推動(dòng)傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)的重要?jiǎng)恿?。近年?lái)，我國(guó)政府高度重視人工智能的研發(fā)與產(chǎn)業(yè)化工作，出臺(tái)多項(xiàng)政策支持產(chǎn)業(yè)創(chuàng)新發(fā)展。2018年，中國(guó)迎來(lái)人工智能元年。全球矚目。成果豐碩。前景廣闊。潛力巨大。挑戰(zhàn)嚴(yán)峻。機(jī)遇難得。目前，以人工智能技術(shù)為核心的新業(yè)態(tài)和新模式不斷涌現(xiàn)，推動(dòng)了人工智能產(chǎn)業(yè)化的快速發(fā)展，也促進(jìn)了人工智能產(chǎn)業(yè)的繁榮。

當(dāng)今時(shí)代，多模態(tài)人工智能產(chǎn)業(yè)正在大踏步向場(chǎng)景化和實(shí)用化邁進(jìn)。“當(dāng)前，模型參數(shù)和數(shù)據(jù)規(guī)模已經(jīng)不是各類(lèi)研發(fā)機(jī)構(gòu)競(jìng)爭(zhēng)的焦點(diǎn)，多模態(tài)人工智能行業(yè)正邁向場(chǎng)景應(yīng)用新舞臺(tái)。”中國(guó)電子學(xué)會(huì)副理事長(zhǎng)兼秘書(shū)長(zhǎng)王金橋在接受《大眾創(chuàng)業(yè)萬(wàn)眾創(chuàng)新》記者采訪時(shí)介紹。未來(lái)，多模態(tài)人工智能將通過(guò)大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)技術(shù)來(lái)輔助人類(lèi)完成復(fù)雜任務(wù)，從而為人們帶來(lái)更高的體驗(yàn)感。如何實(shí)現(xiàn)？有哪些解決方案？“這是一個(gè)問(wèn)題！”王院士回答了這個(gè)問(wèn)題。王金橋說(shuō)。

“比如,'全媒體多模態(tài)大模型',是以中國(guó)科學(xué)院自動(dòng)化研究所‘聞海’多模態(tài)媒體大數(shù)據(jù),'紫東太初‘三模態(tài)大模型為技術(shù)積淀，以新華社全媒體海量數(shù)據(jù)累積為基礎(chǔ)，以媒體融合為經(jīng)營(yíng)場(chǎng)景,'全媒體大模型’將加快人工智能在視頻配音，語(yǔ)音播報(bào)，標(biāo)題摘要，海報(bào)創(chuàng)作等多元媒體經(jīng)營(yíng)場(chǎng)景中的運(yùn)用。3月26日，中國(guó)新聞史學(xué)會(huì)會(huì)長(zhǎng)兼秘書(shū)長(zhǎng)王金橋接受記者采訪時(shí)表示，“全媒體多模態(tài)是我們未來(lái)發(fā)展的趨勢(shì)。”他介紹了新時(shí)代下我國(guó)主流新聞媒體面臨的機(jī)遇與挑戰(zhàn)。如何把握？有什么建議？“怎么做？”她提出問(wèn)題。答案很多。怎么辦呢？王金橋表示。

另外，多模態(tài)人工智能在智慧城市，金融科技和民生服務(wù)等諸多領(lǐng)域都具有廣泛的應(yīng)用場(chǎng)景。

王金橋認(rèn)為，未來(lái)發(fā)展需要以“多模態(tài)大模型模擬人類(lèi)行為過(guò)程”為目標(biāo)，實(shí)現(xiàn)“多模態(tài)小模型”協(xié)同進(jìn)化，推動(dòng)人工智能向碎片化和多樣化方向發(fā)展。

王金橋指出，我國(guó)應(yīng)構(gòu)建工業(yè)化范式下的大模型多模態(tài)生態(tài)，不斷完善國(guó)產(chǎn)基礎(chǔ)軟硬件支撐，增加人工智能在醫(yī)學(xué)，材料和氣候等科研領(lǐng)域的融合，完善人工智能行業(yè)應(yīng)用政策標(biāo)準(zhǔn)和著力培育人工智能復(fù)合型人才。