近日,經壁仞科技與無問芯穹聯(lián)合研發(fā)攻關,成功將壁仞科技的千卡規(guī)模訓練集群在無問芯穹Infini-AI異構云平臺上進行納管和調度,已實現(xiàn)并完整驗證了彈性容錯、異常節(jié)點探測、檢查點保存與加載、斷點續(xù)訓四大功能。與此同時,基于壁仞科技BIRENSUPA軟件工具鏈和無問芯穹大模型訓練引擎,雙方通過并行策略層和計算加速層優(yōu)化,持續(xù)深挖壁仞大算力優(yōu)勢,在壁仞科技GPU上實現(xiàn)了LLM模型訓練性能提升近1倍。
在大模型推理服務方面,壁仞科技最新發(fā)布的高性能、低功耗壁礪110E推理卡在同機架高度下,AI算力密度最高可達到市場主流云端PCIE8卡服務器方案的1.3倍以上。此外,能耗節(jié)省達70%,顯著降低整體系統(tǒng)的總擁有成本。當前,壁礪110E推理卡已在無問芯穹Infini-AI異構云平臺的GenStudio大模型服務平臺中上線,可廣泛應用于大模型多模態(tài)生成、圖像及語音識別、自然語言處理、搜索與推薦等人工智能推理應用場景,支持大規(guī)模分布式推理。在基于壁礪110E的多級推理平臺上,結合無問芯穹GenStudio精選模型開放API,已經形成文生圖/圖生圖的秒級出圖、多模態(tài)大型語言模型(LLM)圖文交互和圖像理解、移動端聊天應用等多個大模型推理應用場景的商業(yè)級用戶業(yè)務支撐能力。
壁礪110EGPGPU卡
目前,壁仞科技的“壁礪106系列”和“壁礪110系列”GPU產品已完成與無問芯穹Infini-AI異構云平臺的全面接入。這些產品支持中間層、大模型算法庫、工具庫和應用層的分級部署、管理、加速等平臺能力,以及各項優(yōu)化策略。未來,雙方將繼續(xù)攜手,在大規(guī)模自主可控智能算力集群優(yōu)化與運營等方面深化合作,進一步提升面向商業(yè)化算力客戶場景的聯(lián)合服務水平。
訪談
更多做行業(yè)賦能者 HID迎接數(shù)字化浪潮新機遇 破解新挑戰(zhàn)
今年3月份,全球可信身份解決方案提供商HID發(fā)布了最新的《安防行業(yè)現(xiàn)狀報告》(以下簡稱“報告”),該報告…
數(shù)字化浪潮下,安防廠商如何滿足行業(yè)客戶的定制化需求?
回顧近兩年,受疫情因素影響,包括安防在內的諸多行業(yè)領域都遭受了來自市場 “不確定性”因素的沖擊,市場…
博思高鄧紹昌:乘產品創(chuàng)新及客戶服務之舟,在市場變革中逆風飛揚
11月24日,由慧聰物聯(lián)網、慧聰安防網、慧聰電子網主辦的2022(第十九屆)中國物聯(lián)網產業(yè)大會暨品牌盛會,在深…