7月23日，第四范式先知AIOS 5.1版本正式發(fā)布。該版本新增GPU資源池化（vGPU）能力，實(shí)現(xiàn)對(duì)硬件集群平臺(tái)化管理、算力資源的按需分配和快速調(diào)度，最多節(jié)省80%的硬件成本，提高GPU綜合利用率多達(dá)5-10倍。

第四范式先知AIOS 5是行業(yè)大模型開發(fā)及管理平臺(tái)。平臺(tái)以提升企業(yè)核心競(jìng)爭(zhēng)力為目標(biāo)，在支持接入企業(yè)各類模態(tài)數(shù)據(jù)的基礎(chǔ)上，提供大模型訓(xùn)練、精調(diào)等低門檻建模工具、科學(xué)家創(chuàng)新服務(wù)體系、北極星策略管理平臺(tái)、大模型納管平臺(tái)、主流算力適配優(yōu)化等能力，實(shí)現(xiàn)端到端的行業(yè)大模型的構(gòu)建、部署、管理服務(wù)。

在行業(yè)大模型的構(gòu)建過程中，為進(jìn)一步提高算力資源利用率，第四范式先知AIOS 5.1版本新增GPU資源池化、虛擬化服務(wù)（vGPU）。本次新增的vGPU產(chǎn)品擁有五大技術(shù)亮點(diǎn)：

全面適配國產(chǎn)/非國產(chǎn)算力，支持混合部署與統(tǒng)一調(diào)度

算力和顯存超分復(fù)用，算力切分精細(xì)到1%，顯存切分以M兆為單位

具備千卡級(jí)別分布式調(diào)度與管理能力

支持自定義隔離策略，實(shí)現(xiàn)共享或獨(dú)享算力池

利用多任務(wù)共享及處理優(yōu)化技術(shù)，推理性能提升10倍以上。

翻譯

搜索

復(fù)制