AI 創(chuàng)業(yè)公司 MosaicML 近日發(fā)布了其語(yǔ)言模型 MPT-30B，該模型具有 300 億參數(shù)，訓(xùn)練成本“僅有其他同類(lèi)競(jìng)品模型的零頭”，有望促進(jìn)行業(yè)逐步降低此類(lèi)模型訓(xùn)練成本，擴(kuò)大 AI 模型在更廣泛領(lǐng)域的運(yùn)用。
據(jù)悉，MosaicML 使用了 Alibi 和 FlashAttention 技術(shù)來(lái)優(yōu)化模型，可以實(shí)現(xiàn)更長(zhǎng)的文本長(zhǎng)度和對(duì) GPU 計(jì)算的更高利用率。MosaicML 也是少數(shù)幾個(gè)能夠使用 Nvidia H100 GPU 的實(shí)驗(yàn)室，相比以往成果，當(dāng)下每塊 GPU 的吞吐量增加了 2.4 倍以上，可帶來(lái)更快的完成時(shí)間。
除了讓 AI 技術(shù)更容易獲得之外，MosaicML 還專(zhuān)注于提高數(shù)據(jù)質(zhì)量并提高模型性能。他們目前正在開(kāi)發(fā)一款工具，可以幫助用戶在預(yù)訓(xùn)練過(guò)程中分層加入特定領(lǐng)域的數(shù)據(jù)，以確保訓(xùn)練中開(kāi)業(yè)實(shí)現(xiàn)多樣化和高質(zhì)量的數(shù)據(jù)組合。
MosaicML 公司表示，將模型擴(kuò)展到 300 億參數(shù)只是第一步，接下來(lái)他們將以降低成本為前提，推出體積更大、質(zhì)量更高的模型。
訪談
更多做行業(yè)賦能者 HID迎接數(shù)字化浪潮新機(jī)遇 破解新挑戰(zhàn)
今年3月份，全球可信身份解決方案提供商HID發(fā)布了最新的《安防行業(yè)現(xiàn)狀報(bào)告》（以下簡(jiǎn)稱(chēng)“報(bào)告”），該報(bào)告…
數(shù)字化浪潮下，安防廠商如何滿足行業(yè)客戶的定制化需求?
回顧近兩年，受疫情因素影響，包括安防在內(nèi)的諸多行業(yè)領(lǐng)域都遭受了來(lái)自市場(chǎng) “不確定性”因素的沖擊，市場(chǎng)…
博思高鄧紹昌：乘產(chǎn)品創(chuàng)新及客戶服務(wù)之舟，在市場(chǎng)變革中逆風(fēng)飛揚(yáng)
11月24日，由慧聰物聯(lián)網(wǎng)、慧聰安防網(wǎng)、慧聰電子網(wǎng)主辦的2022(第十九屆)中國(guó)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)暨品牌盛會(huì)，在深…