繼各類單一模態(tài)輸入的多模態(tài)語言模型后，新加坡國立大學的華人團隊最近開源了全能多模態(tài)模型NExT-GPT。該模型支持任意模態(tài)的輸入和輸出，可以實現(xiàn)文本、圖像、語音和視頻之間的自由轉換，是第一個實現(xiàn)從任一模態(tài)到任一模態(tài)轉換的通用多模態(tài)系統(tǒng)。

image.png© 由 站長之家 提供

項目地址:https://next-gpt.github.io

代碼地址:https://github.com/NExT-GPT/NExT-GPT

論文地址:https://arxiv.org/abs/2309.05519

NExT-GPT的優(yōu)勢在于它實現(xiàn)了真正意義上的任意模態(tài)輸入到任意模態(tài)輸出，而不是僅僅支持某一種固定的輸入輸出模式。用戶可以隨意組合不同模態(tài)進行查詢，NExT-GPT都可以進行理解并用請求的模態(tài)形式給出響應。這充分模擬了人類處理信息的能力，是向通用人工智能目標邁進的重要一步。

image.png© 由 站長之家 提供

在技術上，NExT-GPT并沒有創(chuàng)新算法，而是站在巨人的肩膀上，通過組合優(yōu)化利用現(xiàn)有的各類開源模塊實現(xiàn)全能目標。具體來說，模型包含三個層次:第一，使用各類模態(tài)編碼器對輸入進行編碼;第二，語言模型負責復雜推理;第三，解碼器生成各種模態(tài)輸出。

image.png© 由 站長之家 提供

NExT-GPT的獨特之處在于實現(xiàn)了模態(tài)特征表達的端到端對齊訓練，以及針對多模態(tài)輸出做了指令微調。這保證了在輸入理解、內部推理和輸出生成各層次間特征的有效傳遞，從而實現(xiàn)了優(yōu)秀的多模態(tài)理解與生成能力。

雖然NExT-GPT目前還有待進一步擴展，但其展示了構建通用多模態(tài)系統(tǒng)的可能性，為人工智能研究提供了寶貴的借鑒。后續(xù)工作可以考慮擴展更多模態(tài)，使用更大規(guī)模的語言模型基座，以及改進多模態(tài)生成策略等。