一区二区三区A片|Av不卡高清网址|精品久久不卡一本|一区二区三区绿色|五月黄色婷婷久久|综合 另类 一区|亚洲成人VA视频|久久国产特黄大片|成人无码激情亚洲|黄色字幕网址大全

英特爾、ARM、英偉達(dá)力推規(guī)范草案:統(tǒng)一AI數(shù)據(jù)交換格式

英特爾、ARM 和英偉達(dá)在草案中推薦人工智能系統(tǒng)使用 8 位的 FP8 浮點(diǎn)處理格式。他們表示,F(xiàn)P8 浮點(diǎn)處理格式有可能優(yōu)化硬件內(nèi)存使用率,從而加速人工智能的發(fā)展。這種格式同時(shí)適用于人工智能訓(xùn)練和推理,有助于開發(fā)速度更快、更高效的人工智能系統(tǒng)。

當(dāng)?shù)貢r(shí)間周三芯片公司英特爾、ARM 和英偉達(dá)共同發(fā)布了一項(xiàng)所謂人工智能通用交換格式的規(guī)范草案,目的是使機(jī)器處理人工智能的過程速度更快、更高效。

英特爾、ARM 和英偉達(dá)在草案中推薦人工智能系統(tǒng)使用 8 位的 FP8 浮點(diǎn)處理格式。他們表示,F(xiàn)P8 浮點(diǎn)處理格式有可能優(yōu)化硬件內(nèi)存使用率,從而加速人工智能的發(fā)展。這種格式同時(shí)適用于人工智能訓(xùn)練和推理,有助于開發(fā)速度更快、更高效的人工智能系統(tǒng)。

在開發(fā)人工智能系統(tǒng)時(shí),數(shù)據(jù)科學(xué)家面臨的關(guān)鍵問題不僅是收集大量數(shù)據(jù)來(lái)訓(xùn)練系統(tǒng)。此外還需要選擇一種格式來(lái)表達(dá)系統(tǒng)權(quán)重,權(quán)重是人工智能從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到影響系統(tǒng)預(yù)測(cè)效果的重要因素。權(quán)重使得 GPT-3 這樣的人工智能系統(tǒng)能夠從一個(gè)長(zhǎng)句子提示自動(dòng)生成整個(gè)段落,還能讓 DALL-E 2 人工智能基于某個(gè)特定標(biāo)題生成逼真的肖像畫。

人工智能系統(tǒng)權(quán)重常用的格式有半精度浮點(diǎn)數(shù) FP16 和單精度浮點(diǎn)數(shù) FP32,前者使用 16 位數(shù)據(jù)表示系統(tǒng)權(quán)重,后者則使用 32 位。半精度浮點(diǎn)數(shù)以及更低精度浮點(diǎn)數(shù)能減少了訓(xùn)練和運(yùn)行人工智能系統(tǒng)所需的內(nèi)存空間,同時(shí)還加快計(jì)算速度,甚至減少占用的帶寬資源和耗電量。但因?yàn)槲粩?shù)較單精度浮點(diǎn)數(shù)更少,準(zhǔn)確性會(huì)有所降低。

然而,包括英特爾、ARM 和英偉達(dá)在內(nèi)的許多行內(nèi)公司都將 8 位的 FP8 浮點(diǎn)處理格式作為最佳選擇。英偉達(dá)產(chǎn)品營(yíng)銷總監(jiān)薩沙?納拉西姆漢(Shar Narasimhan)在一篇博客文章中指出,F(xiàn)P8 浮點(diǎn)處理格式在計(jì)算機(jī)視覺和圖像生成系統(tǒng)等用例中的精度與半精度浮點(diǎn)數(shù)相當(dāng),同時(shí)有“明顯”加速。

英偉達(dá)、ARM 和英特爾表示,他們將讓 FP8 浮點(diǎn)處理格式成為一種開放標(biāo)準(zhǔn),其他公司無(wú)需許可證即可使用。三家公司在一份白皮書對(duì) FP8 進(jìn)行了詳細(xì)描述。納拉西姆漢表示,這些規(guī)范都將提交給技術(shù)標(biāo)準(zhǔn)化組織 IEEE,看 FP8 格式能否成為人工智能行業(yè)的通用標(biāo)準(zhǔn)。

納拉西姆漢說(shuō):“我們相信,一個(gè)通用的交換格式將帶來(lái)硬件和軟件平臺(tái)的快速進(jìn)步,提高互操作性,從而推進(jìn)人工智能計(jì)算的進(jìn)步。”

當(dāng)然,三家公司之所以不遺余力推動(dòng) FP8 格式成為通用交換格式也是出于自身研究的考慮。英偉達(dá)的 GH100 Hopper 架構(gòu)已經(jīng)實(shí)現(xiàn)對(duì) FP8 格式的支持,英特爾的 Gaudi2 人工智能訓(xùn)練芯片組也支持 FP8 格式。

但通用的 FP8 格式也會(huì)使 SambaNova、AMD、Groq、IBM、Graphcore 和 Cerebras 等競(jìng)爭(zhēng)對(duì)手受益,這些公司都曾在開發(fā)人工智能系統(tǒng)時(shí)試驗(yàn)或采用 FP8 格式。人工智能系統(tǒng)開發(fā)商 Graphcore 聯(lián)合創(chuàng)始人兼首席技術(shù)官西蒙?諾爾斯(Simon Knowles)在今年 7 月份的一篇博客文章中寫道,“8 位浮點(diǎn)數(shù)的出現(xiàn)在處理性能和效率方面為人工智能計(jì)算帶來(lái)了巨大優(yōu)勢(shì)”。諾爾斯還稱,這是行業(yè)確定“單一開放標(biāo)準(zhǔn)”的“一個(gè)機(jī)會(huì)”,比采取多種格式相互競(jìng)爭(zhēng)要好得多。

THE END
責(zé)任編輯:李斌
免責(zé)聲明:本站所使用的字體和圖片文字等素材部分來(lái)源于互聯(lián)網(wǎng)共享平臺(tái)。如使用任何字體和圖片文字有冒犯其版權(quán)所有方的,皆為無(wú)意。如您是字體廠商、圖片文字廠商等版權(quán)方,且不允許本站使用您的字體和圖片文字等素材,請(qǐng)聯(lián)系我們,本站核實(shí)后將立即刪除!任何版權(quán)方從未通知聯(lián)系本站管理者停止使用,并索要賠償或上訴法院的,均視為新型網(wǎng)絡(luò)碰瓷及敲詐勒索,將不予任何的法律和經(jīng)濟(jì)賠償!敬請(qǐng)諒解!