一区二区三区A片|Av不卡高清网址|精品久久不卡一本|一区二区三区绿色|五月黄色婷婷久久|综合 另类 一区|亚洲成人VA视频|久久国产特黄大片|成人无码激情亚洲|黄色字幕网址大全

新加坡華人團隊開源全能「大一統(tǒng)」多模態(tài)大模型NExT-GPT

繼各類單一模態(tài)輸入的多模態(tài)語言模型后,新加坡國立大學的華人團隊最近開源了全能多模態(tài)模型NExT-GPT。該模型支持任意模態(tài)的輸入和輸出,可以實現(xiàn)文本、圖像、語音和視頻之間的自由轉換,是第一個實現(xiàn)從任一模態(tài)到任一模態(tài)轉換的通用多模態(tài)系統(tǒng)。

繼各類單一模態(tài)輸入的多模態(tài)語言模型后,新加坡國立大學的華人團隊最近開源了全能多模態(tài)模型NExT-GPT。該模型支持任意模態(tài)的輸入和輸出,可以實現(xiàn)文本、圖像、語音和視頻之間的自由轉換,是第一個實現(xiàn)從任一模態(tài)到任一模態(tài)轉換的通用多模態(tài)系統(tǒng)。

image.pngimage.png© 由 站長之家 提供

項目地址:https://next-gpt.github.io

代碼地址:https://github.com/NExT-GPT/NExT-GPT

論文地址:https://arxiv.org/abs/2309.05519

NExT-GPT的優(yōu)勢在于它實現(xiàn)了真正意義上的任意模態(tài)輸入到任意模態(tài)輸出,而不是僅僅支持某一種固定的輸入輸出模式。用戶可以隨意組合不同模態(tài)進行查詢,NExT-GPT都可以進行理解并用請求的模態(tài)形式給出響應。這充分模擬了人類處理信息的能力,是向通用人工智能目標邁進的重要一步。

image.pngimage.png© 由 站長之家 提供

在技術上,NExT-GPT并沒有創(chuàng)新算法,而是站在巨人的肩膀上,通過組合優(yōu)化利用現(xiàn)有的各類開源模塊實現(xiàn)全能目標。具體來說,模型包含三個層次:第一,使用各類模態(tài)編碼器對輸入進行編碼;第二,語言模型負責復雜推理;第三,解碼器生成各種模態(tài)輸出。

image.pngimage.png© 由 站長之家 提供

NExT-GPT的獨特之處在于實現(xiàn)了模態(tài)特征表達的端到端對齊訓練,以及針對多模態(tài)輸出做了指令微調。這保證了在輸入理解、內部推理和輸出生成各層次間特征的有效傳遞,從而實現(xiàn)了優(yōu)秀的多模態(tài)理解與生成能力。

雖然NExT-GPT目前還有待進一步擴展,但其展示了構建通用多模態(tài)系統(tǒng)的可能性,為人工智能研究提供了寶貴的借鑒。后續(xù)工作可以考慮擴展更多模態(tài),使用更大規(guī)模的語言模型基座,以及改進多模態(tài)生成策略等。

THE END
免責聲明:本站所使用的字體和圖片文字等素材部分來源于互聯(lián)網(wǎng)共享平臺。如使用任何字體和圖片文字有冒犯其版權所有方的,皆為無意。如您是字體廠商、圖片文字廠商等版權方,且不允許本站使用您的字體和圖片文字等素材,請聯(lián)系我們,本站核實后將立即刪除!任何版權方從未通知聯(lián)系本站管理者停止使用,并索要賠償或上訴法院的,均視為新型網(wǎng)絡碰瓷及敲詐勒索,將不予任何的法律和經(jīng)濟賠償!敬請諒解!