作為當(dāng)前全球最火的生成式 AI，ChatGPT 僅用了 3 個(gè)月，就幾乎攪動(dòng)了整個(gè)科技圈，人們不斷驚嘆于 ChatGPT 的強(qiáng)大——但微軟和 OpenAI 想要的，顯然不至于此。

目前的 ChatGPT，由 GPT-3.5 系列中的模型微調(diào)而成。而據(jù)微軟德國公司 CTO 兼 AI 部門主管 Andreas Braun 最新透露：下周，GPT-4 就要問世了，還是多模態(tài)的。

GPT-4 的參數(shù)量將高達(dá) 100 萬億？

GPT，即 Generative Pre-trained Transformer，是由 OpenAI 提出的一系列非常強(qiáng)大的預(yù)訓(xùn)練語言模型。該系列模型基于互聯(lián)網(wǎng)上的可用數(shù)據(jù)上進(jìn)行訓(xùn)練，在 NLP（自然語言處理）方面表現(xiàn)卓越，可用于問答、文章生成、機(jī)器翻譯、代碼生成和對話 AI 等。

在 GPT 系列模型推出之前，傳統(tǒng)的 NLP 模型都是針對特定任務(wù)（如分類、翻譯等）進(jìn)行訓(xùn)練的，并且往往使用監(jiān)督學(xué)習(xí)，這就導(dǎo)致了兩個(gè)問題：缺乏大量的標(biāo)注數(shù)據(jù)，模型也無法概括和泛化任務(wù)。

于是，OpenAI 在 2018 年推出了 GPT-1，模型參數(shù)數(shù)量為 1.17 億，通過未標(biāo)注的數(shù)據(jù)訓(xùn)練出一種生成式語言模型，再根據(jù)特定的下游任務(wù)進(jìn)行微調(diào)，將無監(jiān)督學(xué)習(xí)作為有監(jiān)督模型的預(yù)訓(xùn)練目標(biāo)。

時(shí)隔一年后，2019 年具有 15 億參數(shù)的 GPT-2 出現(xiàn)。與 GPT-1 相比，GPT-2 在結(jié)構(gòu)上并沒有太多創(chuàng)新與設(shè)計(jì)，使用了更大的數(shù)據(jù)集和更多的模型參數(shù)進(jìn)行訓(xùn)練，以此強(qiáng)化并提高模型性能。

從 GPT-1 的 1.17 億到 GPT-2 的 15 億，超 10 倍的參數(shù)差距帶來了性能上的飛躍。這似乎意味著，隨著容量和參數(shù)量的增多，模型性能還有更大的潛力——因此，2020 年 GPT-3 的參數(shù)量翻了 100 倍：1750 億，其預(yù)訓(xùn)練數(shù)據(jù)量也高達(dá) 45TB（GPT-2 是 40GB，GPT-1 約 5 GB）。

事實(shí)證明，海量參數(shù)確實(shí)讓 GPT-3 具備了更強(qiáng)大的性能，它在下游任務(wù)表現(xiàn)的非常好。即便是復(fù)雜的 NLP 任務(wù)，GPT-3 也表現(xiàn)驚艷：可以模仿人類寫作，編寫 SQL 查詢語句、React 或 JavaScript 代碼等。

回顧 GPT-1 、GPT-2 和 GPT-3 這一路的發(fā)展，許多人對 GPT-4 寄予厚望，甚至還有傳言稱 GPT-4 的參數(shù)量將高達(dá) 100 萬億。

將在下周推出 GPT-4！

不過，去年 11 月 Cambrian AI 的分析師 Alberto Romero 就曾發(fā)文預(yù)測，GPT-4 不可能發(fā)展至 100 萬億參數(shù)：“對于下一代模型，OpenAI 會(huì)把重點(diǎn)放在優(yōu)化數(shù)據(jù)處理而非參數(shù)大小上。因此 GPT-4 的規(guī)?？赡芘c GPT-3 相似，同時(shí)訓(xùn)練成本會(huì)更低。”

不久之后，OpenAI 首席執(zhí)行官 Sam Altman 也在一次采訪中，辟謠了 100 萬億參數(shù)的說法：“過于荒謬，關(guān)于 GPT-4 的謠言越傳越離譜。”

距離 2020 年 GPT-3 問世已經(jīng)過去兩年多，業(yè)界一直都在期待 GPT-4 的發(fā)布，ChatGPT 的火爆更為此添了一把火。但對于 GPT-4，OpenAI 方面始終保密得很好，不論是發(fā)布時(shí)間還是規(guī)模大小，幾乎都沒有透露。

在今年 1 月，Sam Altman 表示：“我們總有一天會(huì)發(fā)布的，只要我們確定它足夠安全。目前來看，GPT-4 的發(fā)布會(huì)比大家期待的要晚一些。但當(dāng)我們真正發(fā)布時(shí)，人們一定會(huì)覺得，等待是值得的。”

現(xiàn)在看來，Sam Altman 所說的“晚一些”并沒有讓我們太久。

本周四，微軟德國公司 CTO Andreas Braun 預(yù)告了下周 GPT-4 的發(fā)布：“我們將在下周推出 GPT-4。”除了發(fā)布時(shí)間，Andreas Braun 還透露了很關(guān)鍵的一點(diǎn)——GPT-4 將是多模態(tài)的。

這十分令人意外，因?yàn)?Sam Altman 曾在年 4 月對 Alberto Romero 明確表示：GPT-4 不會(huì)是多模態(tài)的，而是一個(gè)純文本模型。

語言模型是多模態(tài)，這意味著什么？即：使用 GPT-4，可以生成文本、圖像甚至視頻。正如 Andreas Braun 所說：“有了 GPT-4，我們將擁有多模態(tài)模型，它將提供完全不同的可能性，例如視頻。”

除此之外，Andreas Braun 還指出 GPT-4 將是一個(gè)“改變游戲規(guī)則”的技術(shù)，因?yàn)?ldquo;他們教機(jī)器理解自然語言，然后以統(tǒng)計(jì)的方式理解以前只能被人類閱讀和理解的內(nèi)容”。與此同時(shí)，GPT-4 已基本“適用于所有語言”，例如可以用德語提問并得到意大利語的回答。

Andreas Braun 認(rèn)為，通過多模態(tài)，微軟（OpenAI）將“使模型全面化”。

“GPT-4 不是要取代人類工作”

聽到 Andreas Braun 的“劇透”，一直關(guān)注著 GPT-4 動(dòng)態(tài)的人們坐不住了：

“如果所有這些都得到證實(shí)，那下周將是瘋狂的。我已經(jīng)開始清理我的日程安排，為此騰出時(shí)間。”

“我希望他沒有撒謊，哈哈！這聽起來有點(diǎn)假。”

“到時(shí)候見！！希望千萬不是炒作。”

但同時(shí)，也有不少人提出擔(dān)憂：目前基于 GPT-3.5 的 ChatGPT，就已經(jīng)威脅到部分人類崗位了，有了 GPT-4 豈不是更危險(xiǎn)？

對此，微軟德國公司 CEO Marianne Janik 回應(yīng)稱：“GPT-4 不是要取代人類工作，而是要以與以前不同的方式來完成重復(fù)性任務(wù)。”她建議，公司可以培訓(xùn)員工使用人工智能：“傳統(tǒng)的職位描述正在發(fā)生變化，由于新可能性不斷豐富，令人興奮的新職業(yè)正在出現(xiàn)。”

目前，關(guān)于 GPT-4 的更多詳細(xì)信息還無法得知，讓我們一起靜待下周它的發(fā)布。