作為當前全球最火的生成式 AI,ChatGPT 僅用了 3 個月,就幾乎攪動了整個科技圈,人們不斷驚嘆于 ChatGPT 的強大——但微軟和 OpenAI 想要的,顯然不至于此。
目前的 ChatGPT,由 GPT-3.5 系列中的模型微調而成。而據(jù)微軟德國公司 CTO 兼 AI 部門主管 Andreas Braun 最新透露:下周,GPT-4 就要問世了,還是多模態(tài)的。
GPT-4 的參數(shù)量將高達 100 萬億?
GPT,即 Generative Pre-trained Transformer,是由 OpenAI 提出的一系列非常強大的預訓練語言模型。該系列模型基于互聯(lián)網(wǎng)上的可用數(shù)據(jù)上進行訓練,在 NLP(自然語言處理)方面表現(xiàn)卓越,可用于問答、文章生成、機器翻譯、代碼生成和對話 AI 等。
在 GPT 系列模型推出之前,傳統(tǒng)的 NLP 模型都是針對特定任務(如分類、翻譯等)進行訓練的,并且往往使用監(jiān)督學習,這就導致了兩個問題:缺乏大量的標注數(shù)據(jù),模型也無法概括和泛化任務。
于是,OpenAI 在 2018 年推出了 GPT-1,模型參數(shù)數(shù)量為 1.17 億,通過未標注的數(shù)據(jù)訓練出一種生成式語言模型,再根據(jù)特定的下游任務進行微調,將無監(jiān)督學習作為有監(jiān)督模型的預訓練目標。
時隔一年后,2019 年具有 15 億參數(shù)的 GPT-2 出現(xiàn)。與 GPT-1 相比,GPT-2 在結構上并沒有太多創(chuàng)新與設計,使用了更大的數(shù)據(jù)集和更多的模型參數(shù)進行訓練,以此強化并提高模型性能。
從 GPT-1 的 1.17 億到 GPT-2 的 15 億,超 10 倍的參數(shù)差距帶來了性能上的飛躍。這似乎意味著,隨著容量和參數(shù)量的增多,模型性能還有更大的潛力——因此,2020 年 GPT-3 的參數(shù)量翻了 100 倍:1750 億,其預訓練數(shù)據(jù)量也高達 45TB(GPT-2 是 40GB,GPT-1 約 5 GB)。
事實證明,海量參數(shù)確實讓 GPT-3 具備了更強大的性能,它在下游任務表現(xiàn)的非常好。即便是復雜的 NLP 任務,GPT-3 也表現(xiàn)驚艷:可以模仿人類寫作,編寫 SQL 查詢語句、React 或 JavaScript 代碼等。
回顧 GPT-1 、GPT-2 和 GPT-3 這一路的發(fā)展,許多人對 GPT-4 寄予厚望,甚至還有傳言稱 GPT-4 的參數(shù)量將高達 100 萬億。
將在下周推出 GPT-4!
不過,去年 11 月 Cambrian AI 的分析師 Alberto Romero 就曾發(fā)文預測,GPT-4 不可能發(fā)展至 100 萬億參數(shù):“對于下一代模型,OpenAI 會把重點放在優(yōu)化數(shù)據(jù)處理而非參數(shù)大小上。因此 GPT-4 的規(guī)??赡芘c GPT-3 相似,同時訓練成本會更低。”
不久之后,OpenAI 首席執(zhí)行官 Sam Altman 也在一次采訪中,辟謠了 100 萬億參數(shù)的說法:“過于荒謬,關于 GPT-4 的謠言越傳越離譜。”
距離 2020 年 GPT-3 問世已經(jīng)過去兩年多,業(yè)界一直都在期待 GPT-4 的發(fā)布,ChatGPT 的火爆更為此添了一把火。但對于 GPT-4,OpenAI 方面始終保密得很好,不論是發(fā)布時間還是規(guī)模大小,幾乎都沒有透露。
在今年 1 月,Sam Altman 表示:“我們總有一天會發(fā)布的,只要我們確定它足夠安全。目前來看,GPT-4 的發(fā)布會比大家期待的要晚一些。但當我們真正發(fā)布時,人們一定會覺得,等待是值得的。”
現(xiàn)在看來,Sam Altman 所說的“晚一些”并沒有讓我們太久。
本周四,微軟德國公司 CTO Andreas Braun 預告了下周 GPT-4 的發(fā)布:“我們將在下周推出 GPT-4。”除了發(fā)布時間,Andreas Braun 還透露了很關鍵的一點——GPT-4 將是多模態(tài)的。
這十分令人意外,因為 Sam Altman 曾在年 4 月對 Alberto Romero 明確表示:GPT-4 不會是多模態(tài)的,而是一個純文本模型。
語言模型是多模態(tài),這意味著什么?即:使用 GPT-4,可以生成文本、圖像甚至視頻。正如 Andreas Braun 所說:“有了 GPT-4,我們將擁有多模態(tài)模型,它將提供完全不同的可能性,例如視頻。”
除此之外,Andreas Braun 還指出 GPT-4 將是一個“改變游戲規(guī)則”的技術,因為“他們教機器理解自然語言,然后以統(tǒng)計的方式理解以前只能被人類閱讀和理解的內容”。與此同時,GPT-4 已基本“適用于所有語言”,例如可以用德語提問并得到意大利語的回答。
Andreas Braun 認為,通過多模態(tài),微軟(OpenAI)將“使模型全面化”。
“GPT-4 不是要取代人類工作”
聽到 Andreas Braun 的“劇透”,一直關注著 GPT-4 動態(tài)的人們坐不住了:
“如果所有這些都得到證實,那下周將是瘋狂的。我已經(jīng)開始清理我的日程安排,為此騰出時間。”
“我希望他沒有撒謊,哈哈!這聽起來有點假。”
“到時候見??!希望千萬不是炒作。”
但同時,也有不少人提出擔憂:目前基于 GPT-3.5 的 ChatGPT,就已經(jīng)威脅到部分人類崗位了,有了 GPT-4 豈不是更危險?
對此,微軟德國公司 CEO Marianne Janik 回應稱:“GPT-4 不是要取代人類工作,而是要以與以前不同的方式來完成重復性任務。”她建議,公司可以培訓員工使用人工智能:“傳統(tǒng)的職位描述正在發(fā)生變化,由于新可能性不斷豐富,令人興奮的新職業(yè)正在出現(xiàn)。”
目前,關于 GPT-4 的更多詳細信息還無法得知,讓我們一起靜待下周它的發(fā)布。
訪談
更多做行業(yè)賦能者 HID迎接數(shù)字化浪潮新機遇 破解新挑戰(zhàn)
今年3月份,全球可信身份解決方案提供商HID發(fā)布了最新的《安防行業(yè)現(xiàn)狀報告》(以下簡稱“報告”),該報告…
數(shù)字化浪潮下,安防廠商如何滿足行業(yè)客戶的定制化需求?
回顧近兩年,受疫情因素影響,包括安防在內的諸多行業(yè)領域都遭受了來自市場 “不確定性”因素的沖擊,市場…
博思高鄧紹昌:乘產(chǎn)品創(chuàng)新及客戶服務之舟,在市場變革中逆風飛揚
11月24日,由慧聰物聯(lián)網(wǎng)、慧聰安防網(wǎng)、慧聰電子網(wǎng)主辦的2022(第十九屆)中國物聯(lián)網(wǎng)產(chǎn)業(yè)大會暨品牌盛會,在深…