到2023年底，對生成式人工智能將需要多少能源的任何預測都是不準確的。例如，頭條新聞傾向于猜測“人工智能需要5倍、10倍、30倍的電力”和“足夠運行10萬戶家庭的電力”等。與此同時，數據中心新聞等專業(yè)出版物的報道稱，每機架的功率密度將上升到50kW或100kW。

為什么生成式人工智能如此需要資源？正在采取哪些措施來計算其潛在的能源成本和碳足跡？分析師們已經對特定工作負載場景進行了自己的預測，但由于處于模型構建前沿的云超大規(guī)模廠商幾乎沒有公開的數據，因此目前幾乎沒有確鑿的數據可供參考。

經過分析，人工智能模型從訓練到推理的碳成本已經產生了一些發(fā)人深省的數字。根據《哈佛商業(yè)評論》的一份報告，研究人員認為，訓練“單一大語言深度學習模型”，如OpenAI的GPT-4或谷歌的PaLM，估計會消耗約300噸二氧化碳。

其他研究人員計算出，使用一種名為“神經架構搜索”的技術，訓練一個中型生成人工智能模型所消耗的電力和能源相當于626,000噸二氧化碳排放量。

那么，到底是什么讓人工智能如此耗電呢？

是數據集，也就是數據量嗎？使用了多少個參數？變壓器模型？編碼、解碼和微調？處理時間？答案當然是上述所有因素的結合。

人們常說Gen AI大型語言模型(LLM)和自然語言處理(NLP)需要大量的訓練數據。然而，從傳統(tǒng)數據存儲的角度來看，實際情況并非如此。

ChatGPT-3是在45TB的Commoncrawl（爬蟲網站）明文上進行訓練的，然后過濾到570GB的文本數據。作為對開源AI數據的貢獻，它免費托管在AWS上。

但存儲量、從網絡、維基百科和其他地方抓取的數十億網頁或數據令牌，然后進行編碼、解碼和微調以訓練ChatGPT和其他模型，應該不會對數據中心產生重大影響。

同樣，訓練文本到語音、文本到圖像或文本到視頻模型所需的TB或PB數據，應該不會給數據中心的電源和冷卻系統(tǒng)帶來特別的壓力，這些數據中心是為托管存儲和處理數百或數千pb級數據的IT設備而構建的。

文本到圖像模型的一個例子是LAION（大規(guī)模人工智能開放網絡），一個擁有數十億圖像的德國人工智能模型。其中一款名為LAION 400m的模型擁有10TB的網絡數據集。另一個是LAION 5B，它有58.5億個經過剪輯過濾的文本圖像對。

訓練數據量保持可控規(guī)模的一個原因是，大多數人工智能模型構建者使用預訓練模型(ptm)，而不是從頭開始訓練的搜索模型。我們所熟悉的兩個ptm示例是來自變壓器(BERT)的雙向編碼器表示和生成預訓練變壓器(GPT)系列，如ChatGPT。

人工智能參數和變壓器

數據中心運營商感興趣的人工智能訓練的另一個衡量標準是參數。

生成式AI模型在訓練期間使用AI參數。參數數量越多，對預期結果的預測就越準確。ChatGPT-3是基于1750億個參數構建的。

但對于AI來說，參數的數量已經在快速上升。中國LLM第一個版本WUDao使用了1.75萬億個參數。WUDao作為一個大型語言模型，還提供文本到圖像和文本到視頻的服務。預計數字將繼續(xù)增長。

由于沒有可用的硬數據，可以合理地推測運行具有1.7萬億個參數的模型所需的計算能力將非常大。隨著我們進入更多的人工智能視頻生成領域，模型中使用的數據量和參數數量將會激增。

Transformer是一種神經網絡架構，旨在解決序列轉導或神經機器翻譯問題。這意味著將輸入序列轉換為輸出序列的任何任務。

Transformer層依賴于循環(huán)，因此當輸入數據移入一個Transformer層時，數據將循環(huán)回到其上一層并傳出到下一層。這些層改進了接下來發(fā)生的事情的預測輸出。它有助于提高語音識別、文本到語音轉換等。

多少電量才足夠？

標準普爾全球發(fā)布的一份題為《人工智能的力量:人工智能對電力需求的瘋狂預測讓行業(yè)處于緊張狀態(tài)》的報告引用了幾個消息來源:“關于美國的電力需求，很難量化像ChatGPT這樣的東西需要多少需求，就宏觀數據而言，到2030年，人工智能將占全球電力需求的3-4%。谷歌表示，目前人工智能占其電力使用量的10-15%，即每年2.3TWh。”

據估計，在每次網絡搜索中使用ChatGPT等生成式人工智能，將需要超過50萬臺Nvidia A100 HGX服務器，總計410萬個圖形處理單元或GPU。如果每臺服務器的電力需求為6.5kW，則日耗電量為80GWh，年耗電量為29.2TWh。

瑞典研究所RI.SE提供了用于訓練AI模型的實際功率的計算結果。它說：“訓練像GPT-4這樣的超大型語言模型，有1.7萬億個參數，使用13萬億個標記(單詞片段)，是一項艱巨的任務。OpenAI透露，他們花費了1億美元，耗時100天，使用了25,000個Nvidia A100 GPU。每個配備這些GPU的服務器大約使用6.5kW，因此訓練期間估計消耗50GWh的能源。”

這一點很重要，因為人工智能使用的能源正迅速成為公眾討論的話題。目前還沒有公布關于人工智能行業(yè)總足跡的估計，人工智能領域的爆炸式增長如此之快，幾乎不可能獲得準確的數字。

當我們等待機器學習和人工智能過去和現有的電力使用數據出現時，很明顯，一旦模型投入生產和使用，我們將處于exabyte（艾字節(jié)）和exaflops（計算機每秒可以至少進行10^18或百億億次浮點運算。）的計算規(guī)模。對于數據中心的電源和冷卻來說，這才是真正有趣和更具挑戰(zhàn)性的事情。