繼各類單一模態(tài)輸入的多模態(tài)語言模型后，新加坡國立大學(xué)的華人團(tuán)隊最近開源了全能多模態(tài)模型NExT-GPT。該模型支持任意模態(tài)的輸入和輸出，可以實現(xiàn)文本、圖像、語音和視頻之間的自由轉(zhuǎn)換，是第一個實現(xiàn)從任一模態(tài)到任一模態(tài)轉(zhuǎn)換的通用多模態(tài)系統(tǒng)。

image.png© 由 站長之家 提供

項目地址:https://next-gpt.github.io

代碼地址:https://github.com/NExT-GPT/NExT-GPT

論文地址:https://arxiv.org/abs/2309.05519

NExT-GPT的優(yōu)勢在于它實現(xiàn)了真正意義上的任意模態(tài)輸入到任意模態(tài)輸出，而不是僅僅支持某一種固定的輸入輸出模式。用戶可以隨意組合不同模態(tài)進(jìn)行查詢，NExT-GPT都可以進(jìn)行理解并用請求的模態(tài)形式給出響應(yīng)。這充分模擬了人類處理信息的能力，是向通用人工智能目標(biāo)邁進(jìn)的重要一步。

image.png© 由 站長之家 提供

在技術(shù)上，NExT-GPT并沒有創(chuàng)新算法，而是站在巨人的肩膀上，通過組合優(yōu)化利用現(xiàn)有的各類開源模塊實現(xiàn)全能目標(biāo)。具體來說，模型包含三個層次:第一，使用各類模態(tài)編碼器對輸入進(jìn)行編碼;第二，語言模型負(fù)責(zé)復(fù)雜推理;第三，解碼器生成各種模態(tài)輸出。

image.png© 由 站長之家 提供

NExT-GPT的獨特之處在于實現(xiàn)了模態(tài)特征表達(dá)的端到端對齊訓(xùn)練，以及針對多模態(tài)輸出做了指令微調(diào)。這保證了在輸入理解、內(nèi)部推理和輸出生成各層次間特征的有效傳遞，從而實現(xiàn)了優(yōu)秀的多模態(tài)理解與生成能力。

雖然NExT-GPT目前還有待進(jìn)一步擴(kuò)展，但其展示了構(gòu)建通用多模態(tài)系統(tǒng)的可能性，為人工智能研究提供了寶貴的借鑒。后續(xù)工作可以考慮擴(kuò)展更多模態(tài)，使用更大規(guī)模的語言模型基座，以及改進(jìn)多模態(tài)生成策略等。