作為當前全球最火的生成式 AI，ChatGPT 僅用了 3 個月，就幾乎攪動了整個科技圈，人們不斷驚嘆于 ChatGPT 的強大——但微軟和 OpenAI 想要的，顯然不至于此。

目前的 ChatGPT，由 GPT-3.5 系列中的模型微調而成。而據(jù)微軟德國公司 CTO 兼 AI 部門主管 Andreas Braun 最新透露：下周，GPT-4 就要問世了，還是多模態(tài)的。

GPT-4 的參數(shù)量將高達 100 萬億？

GPT，即 Generative Pre-trained Transformer，是由 OpenAI 提出的一系列非常強大的預訓練語言模型。該系列模型基于互聯(lián)網(wǎng)上的可用數(shù)據(jù)上進行訓練，在 NLP（自然語言處理）方面表現(xiàn)卓越，可用于問答、文章生成、機器翻譯、代碼生成和對話 AI 等。

在 GPT 系列模型推出之前，傳統(tǒng)的 NLP 模型都是針對特定任務（如分類、翻譯等）進行訓練的，并且往往使用監(jiān)督學習，這就導致了兩個問題：缺乏大量的標注數(shù)據(jù)，模型也無法概括和泛化任務。

于是，OpenAI 在 2018 年推出了 GPT-1，模型參數(shù)數(shù)量為 1.17 億，通過未標注的數(shù)據(jù)訓練出一種生成式語言模型，再根據(jù)特定的下游任務進行微調，將無監(jiān)督學習作為有監(jiān)督模型的預訓練目標。

時隔一年后，2019 年具有 15 億參數(shù)的 GPT-2 出現(xiàn)。與 GPT-1 相比，GPT-2 在結構上并沒有太多創(chuàng)新與設計，使用了更大的數(shù)據(jù)集和更多的模型參數(shù)進行訓練，以此強化并提高模型性能。

從 GPT-1 的 1.17 億到 GPT-2 的 15 億，超 10 倍的參數(shù)差距帶來了性能上的飛躍。這似乎意味著，隨著容量和參數(shù)量的增多，模型性能還有更大的潛力——因此，2020 年 GPT-3 的參數(shù)量翻了 100 倍：1750 億，其預訓練數(shù)據(jù)量也高達 45TB（GPT-2 是 40GB，GPT-1 約 5 GB）。

事實證明，海量參數(shù)確實讓 GPT-3 具備了更強大的性能，它在下游任務表現(xiàn)的非常好。即便是復雜的 NLP 任務，GPT-3 也表現(xiàn)驚艷：可以模仿人類寫作，編寫 SQL 查詢語句、React 或 JavaScript 代碼等。

回顧 GPT-1 、GPT-2 和 GPT-3 這一路的發(fā)展，許多人對 GPT-4 寄予厚望，甚至還有傳言稱 GPT-4 的參數(shù)量將高達 100 萬億。

將在下周推出 GPT-4！

不過，去年 11 月 Cambrian AI 的分析師 Alberto Romero 就曾發(fā)文預測，GPT-4 不可能發(fā)展至 100 萬億參數(shù)：“對于下一代模型，OpenAI 會把重點放在優(yōu)化數(shù)據(jù)處理而非參數(shù)大小上。因此 GPT-4 的規(guī)?？赡芘c GPT-3 相似，同時訓練成本會更低。”

不久之后，OpenAI 首席執(zhí)行官 Sam Altman 也在一次采訪中，辟謠了 100 萬億參數(shù)的說法：“過于荒謬，關于 GPT-4 的謠言越傳越離譜。”

距離 2020 年 GPT-3 問世已經(jīng)過去兩年多，業(yè)界一直都在期待 GPT-4 的發(fā)布，ChatGPT 的火爆更為此添了一把火。但對于 GPT-4，OpenAI 方面始終保密得很好，不論是發(fā)布時間還是規(guī)模大小，幾乎都沒有透露。

在今年 1 月，Sam Altman 表示：“我們總有一天會發(fā)布的，只要我們確定它足夠安全。目前來看，GPT-4 的發(fā)布會比大家期待的要晚一些。但當我們真正發(fā)布時，人們一定會覺得，等待是值得的。”

現(xiàn)在看來，Sam Altman 所說的“晚一些”并沒有讓我們太久。

本周四，微軟德國公司 CTO Andreas Braun 預告了下周 GPT-4 的發(fā)布：“我們將在下周推出 GPT-4。”除了發(fā)布時間，Andreas Braun 還透露了很關鍵的一點——GPT-4 將是多模態(tài)的。

這十分令人意外，因為 Sam Altman 曾在年 4 月對 Alberto Romero 明確表示：GPT-4 不會是多模態(tài)的，而是一個純文本模型。

語言模型是多模態(tài)，這意味著什么？即：使用 GPT-4，可以生成文本、圖像甚至視頻。正如 Andreas Braun 所說：“有了 GPT-4，我們將擁有多模態(tài)模型，它將提供完全不同的可能性，例如視頻。”

除此之外，Andreas Braun 還指出 GPT-4 將是一個“改變游戲規(guī)則”的技術，因為“他們教機器理解自然語言，然后以統(tǒng)計的方式理解以前只能被人類閱讀和理解的內容”。與此同時，GPT-4 已基本“適用于所有語言”，例如可以用德語提問并得到意大利語的回答。

Andreas Braun 認為，通過多模態(tài)，微軟（OpenAI）將“使模型全面化”。

“GPT-4 不是要取代人類工作”

聽到 Andreas Braun 的“劇透”，一直關注著 GPT-4 動態(tài)的人們坐不住了：

“如果所有這些都得到證實，那下周將是瘋狂的。我已經(jīng)開始清理我的日程安排，為此騰出時間。”

“我希望他沒有撒謊，哈哈！這聽起來有點假。”

“到時候見??！希望千萬不是炒作。”

但同時，也有不少人提出擔憂：目前基于 GPT-3.5 的 ChatGPT，就已經(jīng)威脅到部分人類崗位了，有了 GPT-4 豈不是更危險？

對此，微軟德國公司 CEO Marianne Janik 回應稱：“GPT-4 不是要取代人類工作，而是要以與以前不同的方式來完成重復性任務。”她建議，公司可以培訓員工使用人工智能：“傳統(tǒng)的職位描述正在發(fā)生變化，由于新可能性不斷豐富，令人興奮的新職業(yè)正在出現(xiàn)。”

目前，關于 GPT-4 的更多詳細信息還無法得知，讓我們一起靜待下周它的發(fā)布。