一区二区三区A片|Av不卡高清网址|精品久久不卡一本|一区二区三区绿色|五月黄色婷婷久久|综合 另类 一区|亚洲成人VA视频|久久国产特黄大片|成人无码激情亚洲|黄色字幕网址大全

馬庫斯對DeepMind人工智能模型Gato提出質(zhì)疑,認為規(guī)模最大化理論已出現(xiàn)三個危機

今年上半年,DeepMind 推出了名為 Gato 的人工智能模型。該模型可用于執(zhí)行不同模態(tài)下(文本、圖像、視頻、音頻等)復雜的計算任務(wù),如生成對話與字幕、玩視頻游戲、控制機械臂搭積木等。

今年上半年,DeepMind 推出了名為 Gato 的人工智能模型。該模型可用于執(zhí)行不同模態(tài)下(文本、圖像、視頻、音頻等)復雜的計算任務(wù),如生成對話與字幕、玩視頻游戲、控制機械臂搭積木等。

圖 | Gato 模型(來源:DeepMind)

簡單來講,Gato 憑借單一架構(gòu)的網(wǎng)絡(luò)模型就能完成 604 種不同的操作任務(wù),是一款通用型的人工智能模型。例如,Gato 應(yīng)用于游戲場景中時,不必為每個游戲單獨訓練智能體模型,只需運用同一套模型參數(shù)便可以玩不同的游戲。

圖 | Gato 生成對話與字幕(來源:DeepMind)

規(guī)模最大化理論備受爭議

在 Gato 發(fā)布之時,DeepMind 的首席科學家南多·弗雷塔斯(Nando de Freitas)還曾發(fā)布 Twitter 聲明,支持 Gato 所采用的規(guī)模最大化理論。他認為,更大的模型會帶來更強的性能,就像 Gato 所具有的強大功能一樣。

圖 | 蓋瑞·馬庫斯(Gary Marcus)(來源:Robust.AI 公司)

然而最近,人工智能專家、Robust.AI 公司的創(chuàng)始人兼 CEO、紐約大學教授蓋瑞·馬庫斯(Gary Marcus)對“Gato 模型基于規(guī)模最大化可實現(xiàn)通用人工智能”的觀點表示質(zhì)疑。

與弗雷塔斯的觀念相反,馬庫斯認為,僅通過擴大模型規(guī)模無法確保計算結(jié)果的正確性。因此,其并不能從根本上提升性能,從而實現(xiàn)真正的人工智能。

馬庫斯認為,Gato 不能實現(xiàn)通用人工智能有三個原因:第一,現(xiàn)階段用以支撐規(guī)模最大化理論的數(shù)據(jù)量不足;第二,實現(xiàn)規(guī)模最大化消耗的計算資源過多;第三,無法從規(guī)模上擴展很多重要的任務(wù),例如對同一句話在不同語境下的理解,而不僅僅是其語法和語義。

后文提到的實踐也證明了馬斯庫的觀點,Gato 模型對很多任務(wù)執(zhí)行得不好,無法通過試錯改進提升下一次策略的執(zhí)行。

業(yè)內(nèi)人士也普遍認為規(guī)模最大化理論過于偏激,盡管 PaLM、DALL-E 2、Flamingo 和 Gato 等新人工智能模型的出現(xiàn)增強了該觀點的可信度,但是并不能證明該理論一定正確。

他們同馬斯庫一樣,認為真正的 AI 模型應(yīng)該具備像人類一樣執(zhí)行命令的能力,而不是在模型中直接包含人類已經(jīng)發(fā)現(xiàn)的內(nèi)容。人工智能工程師在已經(jīng)創(chuàng)造出的模型中直接添加內(nèi)容,不會創(chuàng)造出新的模型,因此,不能僅僅依賴于擴大模型規(guī)模來實現(xiàn)人工智能中的模型創(chuàng)新。

實際上,規(guī)模最大化理論并沒有被準確的定義。就目前的理解,它意味著工程師無需創(chuàng)新算法模型,只需要對現(xiàn)有模型的參數(shù)規(guī)模進行拓展(例如無腦加深網(wǎng)絡(luò)深度,或?qū)δP瓦M行橫向擴展),就能實現(xiàn)通用人工智能。

這種理論顯然并不正確,實踐證明,PalM、 DALL-E 2、 Flamingo、Gato 等模型依然需要算法模型的創(chuàng)新,而不僅僅是計算規(guī)模的堆砌。

到目前為止,還沒有人能夠給出準確的解釋,以說明需要將模型擴大和算法創(chuàng)新到何種程度才能稱作規(guī)模最大化,因此很難判斷規(guī)模最大化理論究竟是對是錯。

因此,盡管擴充模型規(guī)模在通用人工智能領(lǐng)域是有必要的,但是并不是唯一途徑。

模型的訓練與應(yīng)用流程

雖然 Gato 的規(guī)模最大化理論備受爭議,但就 Gato 模型本身而言,其在算法上具有一定創(chuàng)新之處,而且它具有強大的功能,應(yīng)用范圍也相當廣泛。

在構(gòu)建 Gato 模型的過程中,來自不同任務(wù)和模態(tài)的數(shù)據(jù)被序列化為扁平的數(shù)據(jù)單元,并由類似于大型語言模型的神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換器(Transformer)模型進行批處理。在此過程中,模型的一部分損失函數(shù)被選擇性地隱藏,以使得 Gato 只對行為決策和文本目標進行學習。

圖 | Gato 的訓練流程(來源:DeepMind)

在 Gato 模型實際部署運行時,對輸入數(shù)據(jù)進行標記化處理(標記化是指數(shù)據(jù)的向量表示,例如把一個單詞或者一句話表示為一個數(shù)值向量,稱為 tokenization),產(chǎn)生初始的輸入序列。

然后利用環(huán)境(不屬于 Gato 的一部分,而是要學習的任務(wù),例如游戲本身)生成第一個結(jié)果,該結(jié)果被標記化并附加到最初序列中,形成動作向量。然后,Gato 模型對動作向量進行“自回歸”(一種從統(tǒng)計上處理時間序列數(shù)據(jù)的方法)式地采樣,每次生成一個新的標記化序列。

所有標記序列被采樣后,模型就會將動作向量進行解碼(可以理解為“反標記化”)并發(fā)送到任務(wù)環(huán)境中,在該環(huán)境之中執(zhí)行相關(guān)步驟并產(chǎn)生新的觀察結(jié)果。然后,模型會重復這個過程,使其動作向量不斷更新,直至結(jié)果收斂。

圖 | 將 Gato 部署為控制策略(Control Policy)的流程(來源:DeepMind)

Gato 不僅能在自然語言和圖像數(shù)據(jù)集上訓練,還能使用大量其它模態(tài)的數(shù)據(jù)集進行訓練。這些數(shù)據(jù)包括從仿真環(huán)境和真實環(huán)境中獲得的經(jīng)驗數(shù)據(jù)。

為驗證 Gato 能否執(zhí)行全新的任務(wù),研究者分別從多個不同的環(huán)境中拿出了新的任務(wù),對單個任務(wù)下的訓練好的模型參數(shù)再訓練一定輪次,進行參數(shù)優(yōu)化和微調(diào),然后在指定任務(wù)上對模型進行了性能測試。

結(jié)果表明,在很大比例的任務(wù)中,Gato 都可以通過不斷的學習與適應(yīng)來執(zhí)行新任務(wù)并獲得人類專家水平的分數(shù)。

然而,由于標記化序列長度過長,以及計算機的內(nèi)存限制,任務(wù)在執(zhí)行的過程中會存在很多問題,例如速度過慢等。

模型參數(shù)規(guī)模的擴張是否是開發(fā)通用智能的唯一途徑,這個問題尚無定論。但目前很明顯的是,以 Gato 為代表的眾多大規(guī)模人工智能模型,距離通用人工智能還有很長的一段路要走。

支持:王貝貝

參考資料:

https://www.deepmind.com/blog/a-generalist-agent

https://www.deepmind.com/publications/a-generalist-agent

THE END
責任編輯:趙龍
免責聲明:本站所使用的字體和圖片文字等素材部分來源于互聯(lián)網(wǎng)共享平臺。如使用任何字體和圖片文字有冒犯其版權(quán)所有方的,皆為無意。如您是字體廠商、圖片文字廠商等版權(quán)方,且不允許本站使用您的字體和圖片文字等素材,請聯(lián)系我們,本站核實后將立即刪除!任何版權(quán)方從未通知聯(lián)系本站管理者停止使用,并索要賠償或上訴法院的,均視為新型網(wǎng)絡(luò)碰瓷及敲詐勒索,將不予任何的法律和經(jīng)濟賠償!敬請諒解!