一区二区三区A片|Av不卡高清网址|精品久久不卡一本|一区二区三区绿色|五月黄色婷婷久久|综合 另类 一区|亚洲成人VA视频|久久国产特黄大片|成人无码激情亚洲|黄色字幕网址大全

邊緣AI:如何讓深度學(xué)習(xí)更高效

人工智能 (AI) 正在改變當(dāng)今的工業(yè)格局。 從企業(yè)軟件到機(jī)器自動(dòng)化的一切都受益于多層神經(jīng)網(wǎng)絡(luò)的能力(通過(guò)足夠的數(shù)據(jù)和訓(xùn)練)來(lái)理解我們的世界。 但隨著深度學(xué)習(xí)模型規(guī)模的不斷膨脹,為更復(fù)雜的自然語(yǔ)言處理 (NLP) 和其他人工智能應(yīng)用打開(kāi)了大門,所需的計(jì)算量也隨之增加。 對(duì)于邊緣人工智能來(lái)說(shuō),這就是一個(gè)問(wèn)題。

邊緣AI:如何讓深度學(xué)習(xí)更高效

人工智能 (AI) 正在改變當(dāng)今的工業(yè)格局。 從企業(yè)軟件到機(jī)器自動(dòng)化的一切都受益于多層神經(jīng)網(wǎng)絡(luò)的能力(通過(guò)足夠的數(shù)據(jù)和訓(xùn)練)來(lái)理解我們的世界。 但隨著深度學(xué)習(xí)模型規(guī)模的不斷膨脹,為更復(fù)雜的自然語(yǔ)言處理 (NLP) 和其他人工智能應(yīng)用打開(kāi)了大門,所需的計(jì)算量也隨之增加。 對(duì)于邊緣人工智能來(lái)說(shuō),這就是一個(gè)問(wèn)題。

邊緣AI趨勢(shì)

在智能手機(jī)或車載車輛等便攜式計(jì)算硬件上部署深度學(xué)習(xí)算法,使用戶能夠獲得強(qiáng)大的圖像識(shí)別功能——這只是眾多用例之一。 在邊緣人工智能硬件上本地運(yùn)行模型可以提供針對(duì)任何連接中斷的恢復(fù)能力。

還有能源方面的考慮。 考慮到訓(xùn)練具有數(shù)十億參數(shù)的模型的能源成本以及在此過(guò)程中消耗大量冷卻水,用戶開(kāi)始質(zhì)疑在云中運(yùn)行大型人工智能算法對(duì)環(huán)境的影響。 但事實(shí)證明,開(kāi)發(fā)人員已經(jīng)成為修剪模型的專家,以減少深度學(xué)習(xí)推理的計(jì)算需求,而對(duì)結(jié)果的準(zhǔn)確性影響很小。

這些效率措施對(duì)于實(shí)現(xiàn)邊緣人工智能來(lái)說(shuō)是個(gè)好消息。 為了理解各種方法的工作原理,首先描繪深度學(xué)習(xí)的圖景并考慮多層神經(jīng)網(wǎng)絡(luò)如何將輸入轉(zhuǎn)化為有意義的輸出是很有用的。

在抽象層面上,您可以將深度神經(jīng)網(wǎng)絡(luò)視為通用函數(shù)逼近器。 給定足夠的參數(shù),一切都可以用數(shù)學(xué)函數(shù)來(lái)表示。 您可能見(jiàn)過(guò)以 3D 形式繪制時(shí)看起來(lái)像貝殼的公式或類似于樹(shù)枝的分形。 事實(shí)證明,大量的人工神經(jīng)元能夠描述圖像并找到句子中缺失的單詞。

訓(xùn)練這些人工智能算法涉及調(diào)整數(shù)百萬(wàn)個(gè)模型權(quán)重,以使人工神經(jīng)元的模式對(duì)某些輸入敏感,例如圖像中的邊緣特征。 還需要為網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)設(shè)置偏差,以確定使相應(yīng)的人工神經(jīng)元“放電”所需的激活強(qiáng)度。

如果您曾經(jīng)見(jiàn)過(guò)覆蓋著旋鈕的模擬音樂(lè)合成器,這是一個(gè)很好的類比,但請(qǐng)將旋鈕的數(shù)量乘以一百萬(wàn)或更多。 我們的輸入可以是攝像機(jī)的輸入,在完成所有設(shè)置后,每當(dāng)圖像中看到狗時(shí),攝像機(jī)就會(huì)打開(kāi)燈。

查看表盤上的數(shù)字,我們可能會(huì)發(fā)現(xiàn)某些參數(shù)比其他參數(shù)更重要。 這給我們帶來(lái)了模型修剪的概念,這是將算法壓縮到邊緣人工智能硬件上的一種方法。

如今,開(kāi)發(fā)人員使用各種方法使邊緣 AI 神經(jīng)網(wǎng)絡(luò)運(yùn)行速度更快、尺寸更小以適應(yīng)而不影響性能。 一種方法是將非常小的模型權(quán)重歸零,這可以精確定位對(duì)算法行為影響很小的人工神經(jīng)元。

另一個(gè)技巧是通過(guò)幾次迭代重新訓(xùn)練修剪后的模型,這可能會(huì)導(dǎo)致對(duì)其他參數(shù)進(jìn)行微調(diào),以恢復(fù)任何丟失的準(zhǔn)確性。 一些經(jīng)過(guò)修剪的圖像識(shí)別算法可以比原始神經(jīng)網(wǎng)絡(luò)表現(xiàn)得更有效,這對(duì)于邊緣人工智能來(lái)說(shuō)是一個(gè)很好的結(jié)果。

不幸的是,大型語(yǔ)言模型(LLM)可能更難優(yōu)化,因?yàn)橹匦掠?xùn)練步驟并不簡(jiǎn)單。 但一種名為 Wanda(通過(guò)權(quán)重和激活進(jìn)行修剪)的新方法已在 LLaMA 系列 LLM 上進(jìn)行了評(píng)估,表明考慮激活路徑可以修剪 50% 的結(jié)構(gòu),而不會(huì)造成性能的重大損失。 而且,重要的是,不需要重新運(yùn)行訓(xùn)練來(lái)更新權(quán)重。

考慮權(quán)重的表示方式也很有幫助——例如,將值存儲(chǔ)為 8 位整數(shù)而不是單精度浮點(diǎn)格式 (FP32) 可以顯著節(jié)省內(nèi)存。 傳統(tǒng)上,模型權(quán)重被縮放到 0 到 1 之間,但這些值仍然可以從節(jié)省內(nèi)存的整數(shù)中恢復(fù)以進(jìn)行處理。

使邊緣人工智能應(yīng)用程序的算法更加高效的另一種策略是部署所謂的教師和學(xué)生模型,學(xué)生可以從教師提供的更豐富的信息中學(xué)習(xí)。 具體來(lái)說(shuō),教師模型可以為學(xué)生模型提供最可能結(jié)果的概率分布作為訓(xùn)練輸入。

這種方法已成功用于構(gòu)建 DistilBERT,這是 BERT 的精煉版本:更小、更快、更便宜、更輕。 Hugging Face 研究人員使用教師和學(xué)生模型(也稱為知識(shí)蒸餾)表明,可以將 BERT 模型的大小減少 40%,同時(shí)保留 97% 的語(yǔ)言理解能力,速度提高 60%。

要理解為什么這如此重要,值得注意的是 BERT 是目前最有用的 NLP 模型之一。 BERT 可用于文本編碼,以從其他數(shù)據(jù)中檢索相似的段落。 它可以總結(jié)大量的文本信息并提供問(wèn)題的答案。

考慮到邊緣人工智能,輕量級(jí) NLP 模型可以在本地處理數(shù)據(jù),以保護(hù)隱私并保護(hù)客戶可能不希望發(fā)送到云端的敏感信息。 例如,公司可以使用 DistilBERT 構(gòu)建自己專有的語(yǔ)義搜索引擎來(lái)導(dǎo)航業(yè)務(wù)數(shù)據(jù),而無(wú)需將任何數(shù)據(jù)發(fā)送給 Google。

人工智能成功案例

云中人工智能的成功故事啟發(fā)了各種用例。 而且,隨著開(kāi)發(fā)人員在將算法性能壓縮到更小的占用空間方面變得更加熟練,我們預(yù)計(jì)這些優(yōu)勢(shì)也將轉(zhuǎn)化為邊緣人工智能應(yīng)用程序。

此外,用戶可以依靠越來(lái)越多的工具來(lái)優(yōu)化他們的機(jī)器學(xué)習(xí)模型。 谷歌的 TensorFlow 模型優(yōu)化工具包支持將模型部署到對(duì)處理、內(nèi)存、功耗、網(wǎng)絡(luò)使用和模型存儲(chǔ)空間有限制的邊緣設(shè)備。

還有其他選項(xiàng),例如可以為嵌入式系統(tǒng)提供高效深度學(xué)習(xí)的模型優(yōu)化 SDK。 供應(yīng)商包括瑞典深度科技公司 Embedl,該公司最近籌集了 45 MSEK(410 萬(wàn)美元)來(lái)擴(kuò)大其業(yè)務(wù)。

“Embedl 的解決方案在汽車領(lǐng)域開(kāi)發(fā)自動(dòng)駕駛系統(tǒng) (AD) 和高級(jí)駕駛輔助系統(tǒng) (ADAS) 時(shí)提供了顯著的性能增強(qiáng),”該公司在其網(wǎng)站上寫道。 “它還將使人工智能能夠融入到硬件功能較弱的消費(fèi)產(chǎn)品中。”

該公司表示,客戶可以使用該 SDK 創(chuàng)建可在電池供電設(shè)備上運(yùn)行的深度學(xué)習(xí)算法,這標(biāo)志著邊緣人工智能的另一個(gè)趨勢(shì)。

THE END
免責(zé)聲明:本站所使用的字體和圖片文字等素材部分來(lái)源于互聯(lián)網(wǎng)共享平臺(tái)。如使用任何字體和圖片文字有冒犯其版權(quán)所有方的,皆為無(wú)意。如您是字體廠商、圖片文字廠商等版權(quán)方,且不允許本站使用您的字體和圖片文字等素材,請(qǐng)聯(lián)系我們,本站核實(shí)后將立即刪除!任何版權(quán)方從未通知聯(lián)系本站管理者停止使用,并索要賠償或上訴法院的,均視為新型網(wǎng)絡(luò)碰瓷及敲詐勒索,將不予任何的法律和經(jīng)濟(jì)賠償!敬請(qǐng)諒解!