ChatGPT發(fā)布至今，AI大模型正在進(jìn)入全新的生態(tài)模式，展開(kāi)了一個(gè)全新的旅程，各個(gè)研究機(jī)構(gòu)、公司都展開(kāi)了一場(chǎng)關(guān)于大模型的比拼。據(jù)科技部新一代人工智能發(fā)展研究中心等機(jī)構(gòu)發(fā)布的數(shù)據(jù)，中國(guó)10億參數(shù)規(guī)模以上的大模型已發(fā)布79個(gè)。但同時(shí)，企業(yè)在開(kāi)發(fā)及實(shí)施大模型應(yīng)用過(guò)程中面臨諸多挑戰(zhàn)，尤其是數(shù)據(jù)存儲(chǔ)方面。

多位業(yè)內(nèi)人士對(duì)《中國(guó)經(jīng)營(yíng)報(bào)》記者表示，大模型時(shí)代，數(shù)據(jù)決定AI智能的高度。作為數(shù)據(jù)的載體，數(shù)據(jù)存儲(chǔ)成為AI大模型的關(guān)鍵基礎(chǔ)設(shè)施。國(guó)內(nèi)要發(fā)展人工智能，并使這一產(chǎn)業(yè)得到高速的發(fā)展，一定要重視數(shù)據(jù)和信息的數(shù)字化記錄。如今，國(guó)內(nèi)建設(shè)了大量的數(shù)據(jù)中心，算力相對(duì)較多，但存力較少，很多高價(jià)值的信息都沒(méi)有被記錄下來(lái)。

挑戰(zhàn)依舊

以ChatGPT為代表的大模型成功實(shí)現(xiàn)商業(yè)化落地，并引發(fā)了業(yè)界震動(dòng)。人工智能也正在從感知理解走向生成創(chuàng)造。而AI大模型儼然成為互聯(lián)網(wǎng)的“新風(fēng)口”，在這場(chǎng)AI帶來(lái)的新變革中，企業(yè)紛紛緊跟時(shí)代浪潮，建立自己的大模型。

但隨著大模型產(chǎn)業(yè)的快速發(fā)展，模型規(guī)模的快速膨脹，AIGC模型預(yù)訓(xùn)練數(shù)據(jù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，帶動(dòng)算力需求爆發(fā)。從GPT-1到GPT-3，模型參數(shù)量從GPT-1的1.17億增加到GPT-3的1750億；訓(xùn)練數(shù)據(jù)量也由GPT-1的5GB，增加到GPT-3的45TB。這也就導(dǎo)致面向AI大模型的數(shù)據(jù)準(zhǔn)備時(shí)間長(zhǎng)，數(shù)據(jù)來(lái)源分散，歸集慢。

華為數(shù)據(jù)存儲(chǔ)產(chǎn)品線(xiàn)總裁周躍峰表示，第一，在大模型訓(xùn)練過(guò)程中，需要把分散到各個(gè)地方的數(shù)據(jù)進(jìn)行歸集、預(yù)處理，然后再把它送給AI大模型。數(shù)據(jù)預(yù)處理的過(guò)程非常長(zhǎng)，統(tǒng)計(jì)發(fā)現(xiàn)，上百個(gè)TB級(jí)的數(shù)據(jù)可能需要大概10天左右的準(zhǔn)備時(shí)間，這個(gè)對(duì)于整個(gè)系統(tǒng)的高效利用是不利的；第二，多模態(tài)大模型以海量文本、圖片為訓(xùn)練集，當(dāng)前海量小文件的加載速度不足100MB/s，訓(xùn)練集加載效率低；第三，大模型參數(shù)頻繁調(diào)優(yōu)，訓(xùn)練平臺(tái)不穩(wěn)定，平均約2天出現(xiàn)一次訓(xùn)練中斷，需要Checkpoint機(jī)制恢復(fù)訓(xùn)練，故障恢復(fù)耗時(shí)超過(guò)一天；第四，大模型實(shí)施門(mén)檻高，系統(tǒng)搭建繁雜，資源調(diào)度難，GPU資源利用率通常不到40%。

周躍峰認(rèn)為，AI大模型在進(jìn)入各個(gè)企業(yè)的時(shí)候，實(shí)施門(mén)檻還是非常高，它需要非常專(zhuān)業(yè)的軟件、硬件甚至是維護(hù)工程師來(lái)進(jìn)行實(shí)施并進(jìn)行后續(xù)的維護(hù)。同時(shí)可以看到今天的大模型和算力的應(yīng)用尤其是GPU的應(yīng)用相對(duì)還是比較簡(jiǎn)單、傳統(tǒng)的裸機(jī)系統(tǒng)，GPU資源的利用效率相對(duì)來(lái)說(shuō)比較低。

存儲(chǔ)需求上升

“大模型時(shí)代，數(shù)據(jù)決定AI智能的高度。作為數(shù)據(jù)的載體，數(shù)據(jù)存儲(chǔ)成為AI大模型的關(guān)鍵基礎(chǔ)設(shè)施。”周躍峰表示。數(shù)據(jù)存儲(chǔ)成為解決AI大模型發(fā)展瓶頸的關(guān)鍵。

周躍峰解釋道：“目前大模型算力成本約占整個(gè)成本的25%，而數(shù)據(jù)清洗、預(yù)處理等工作，在不算數(shù)據(jù)存儲(chǔ)硬件的情況下，占到成本的22%。從這個(gè)角度看，數(shù)據(jù)機(jī)器存儲(chǔ)過(guò)程，在大模型時(shí)代越來(lái)越重要。這不僅僅是簡(jiǎn)單的數(shù)據(jù)量變大，而且數(shù)據(jù)的處理過(guò)程，以及過(guò)程中對(duì)于硬件性能的要求越來(lái)越高。”他認(rèn)為，隨著大模型出現(xiàn)，數(shù)據(jù)存儲(chǔ)和處理相關(guān)領(lǐng)域未來(lái)會(huì)越來(lái)越有前景。

華為蘇黎士研究所數(shù)據(jù)存儲(chǔ)首席科學(xué)家張霽也認(rèn)為，隨著數(shù)據(jù)源日趨豐富，很多企業(yè)開(kāi)始關(guān)注數(shù)據(jù)安全問(wèn)題，而數(shù)據(jù)存儲(chǔ)是數(shù)據(jù)安全的第一道防線(xiàn)。

為此，華為推出了OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ)與FusionCube A3000訓(xùn)/推超融合一體機(jī)。

其中，OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ)，在數(shù)據(jù)準(zhǔn)備到斷點(diǎn)接續(xù)，再到整個(gè)訓(xùn)練/推理一條鏈的過(guò)程發(fā)力，用近存計(jì)算和高性能分布式文件存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)從數(shù)據(jù)歸集、預(yù)處理到模型訓(xùn)練、推理應(yīng)用的AI全流程海量數(shù)據(jù)管理，為企業(yè)解決數(shù)據(jù)底座問(wèn)題。

FusionCube A3000訓(xùn)/推超融合一體機(jī)面向行業(yè)大模型訓(xùn)練/推理場(chǎng)景，針對(duì)百億級(jí)模型應(yīng)用，可提供拎包入住式的部署體驗(yàn)。周躍峰表示，通過(guò)一體機(jī)方式，納入所有軟件，降低企業(yè)使用門(mén)檻，實(shí)現(xiàn)資源高效利用。“我們也希望通過(guò)這個(gè)手段，助推中國(guó)的AI成為真正的所謂的普惠AI，而不是頭部企業(yè)用的先進(jìn)工具，而是讓它成為普適性的工具。”

對(duì)此，華為分布式存儲(chǔ)領(lǐng)域副總裁韓振興表示：“我們?cè)谶@方面已經(jīng)籌備了兩三年，因?yàn)槲覀冎熬涂吹搅薃I的大趨勢(shì)。當(dāng)然我們也確實(shí)是沒(méi)有預(yù)料到它突然爆發(fā)，但我們?cè)诤茉缇瓦M(jìn)行了籌備。所以當(dāng)看到大模型開(kāi)始的時(shí)候，便發(fā)布了這兩個(gè)新品，它們的性能指標(biāo)高于整個(gè)業(yè)界60%以上。”