2月24日,DeepSeek"開源周"正式啟動,并發(fā)布首個代碼庫FlashMLA,引發(fā)全球關(guān)注。
FlashMLA是針對英偉達(dá)Hopper GPU優(yōu)化的高效MLA解碼內(nèi)核,專為可變長度序列優(yōu)化設(shè)計,是DeepSeek高效使用算力的核心程序模塊。FlashMLA通過MLA解碼優(yōu)化與分頁KV緩存技術(shù),顯著提升硬件利用率,加速大語言模型解碼過程,有效提高響應(yīng)速度與吞吐量,適用于各種實(shí)時對話生成場景。
云天勵飛芯片團(tuán)隊在FlashMLA開源后,迅速完成了DeepEdge10平臺與FlashMLA的適配工作。在適配過程中,云天勵飛采用了Op fusion tiling、Online softmax、Double buffer、細(xì)粒度存算并行等先進(jìn)技術(shù),并基于自研的Triton-like編程語言快速開發(fā)驗證了高效的FlashMLA算子。通過一系列優(yōu)化,不僅顯著提升了計算效率,還大幅降低了顯存占用,充分展現(xiàn)了DeepEdge10平臺“算力積木”芯片架構(gòu)的卓越優(yōu)勢,以及其與DeepSeek生態(tài)的高度契合性。
今日,云天勵飛已將相關(guān)代碼提交至開源平臺Gitee,為開源AI貢獻(xiàn)了重要的技術(shù)力量。
DeepEdge10系列芯片是專門針對大模型時代打造的芯片,支持包括 Transformer 模型、BEV 模型、CV 大模型、LLM 大模型等各類不同架構(gòu)的主流模型;基于自主可控的先進(jìn)國產(chǎn)工藝打造,采用獨(dú)特的“算力積木”架構(gòu),可靈活滿足智慧城市、智慧交通、智能制造、智慧倉儲、機(jī)器人、邊緣智算中心等不同場景對算力的需求,為大模型推理提供強(qiáng)大動力。
目前,DeepEdge10芯片平臺已成功適配DeepSeek R1系列模型及國產(chǎn)鴻蒙操作系統(tǒng)。未來,云天勵飛將持續(xù)加大研發(fā)力度,推動芯片在國產(chǎn)化領(lǐng)域取得更大突破,為國產(chǎn)AI生態(tài)建設(shè)貢獻(xiàn)更多力量。
訪談
更多做行業(yè)賦能者 HID迎接數(shù)字化浪潮新機(jī)遇 破解新挑戰(zhàn)
今年3月份,全球可信身份解決方案提供商HID發(fā)布了最新的《安防行業(yè)現(xiàn)狀報告》(以下簡稱“報告”),該報告…
數(shù)字化浪潮下,安防廠商如何滿足行業(yè)客戶的定制化需求?
回顧近兩年,受疫情因素影響,包括安防在內(nèi)的諸多行業(yè)領(lǐng)域都遭受了來自市場 “不確定性”因素的沖擊,市場…
博思高鄧紹昌:乘產(chǎn)品創(chuàng)新及客戶服務(wù)之舟,在市場變革中逆風(fēng)飛揚(yáng)
11月24日,由慧聰物聯(lián)網(wǎng)、慧聰安防網(wǎng)、慧聰電子網(wǎng)主辦的2022(第十九屆)中國物聯(lián)網(wǎng)產(chǎn)業(yè)大會暨品牌盛會,在深…