人工智能 (AI) 正在改變當(dāng)今的工業(yè)格局。 從企業(yè)軟件到機(jī)器自動(dòng)化的一切都受益于多層神經(jīng)網(wǎng)絡(luò)的能力(通過(guò)足夠的數(shù)據(jù)和訓(xùn)練)來(lái)理解我們的世界。 但隨著深度學(xué)習(xí)模型規(guī)模的不斷膨脹,為更復(fù)雜的自然語(yǔ)言處理 (NLP) 和其他人工智能應(yīng)用打開(kāi)了大門,所需的計(jì)算量也隨之增加。 對(duì)于邊緣人工智能來(lái)說(shuō),這就是一個(gè)問(wèn)題。
邊緣AI趨勢(shì)
在智能手機(jī)或車載車輛等便攜式計(jì)算硬件上部署深度學(xué)習(xí)算法,使用戶能夠獲得強(qiáng)大的圖像識(shí)別功能——這只是眾多用例之一。 在邊緣人工智能硬件上本地運(yùn)行模型可以提供針對(duì)任何連接中斷的恢復(fù)能力。
還有能源方面的考慮。 考慮到訓(xùn)練具有數(shù)十億參數(shù)的模型的能源成本以及在此過(guò)程中消耗大量冷卻水,用戶開(kāi)始質(zhì)疑在云中運(yùn)行大型人工智能算法對(duì)環(huán)境的影響。 但事實(shí)證明,開(kāi)發(fā)人員已經(jīng)成為修剪模型的專家,以減少深度學(xué)習(xí)推理的計(jì)算需求,而對(duì)結(jié)果的準(zhǔn)確性影響很小。
這些效率措施對(duì)于實(shí)現(xiàn)邊緣人工智能來(lái)說(shuō)是個(gè)好消息。 為了理解各種方法的工作原理,首先描繪深度學(xué)習(xí)的圖景并考慮多層神經(jīng)網(wǎng)絡(luò)如何將輸入轉(zhuǎn)化為有意義的輸出是很有用的。
在抽象層面上,您可以將深度神經(jīng)網(wǎng)絡(luò)視為通用函數(shù)逼近器。 給定足夠的參數(shù),一切都可以用數(shù)學(xué)函數(shù)來(lái)表示。 您可能見(jiàn)過(guò)以 3D 形式繪制時(shí)看起來(lái)像貝殼的公式或類似于樹(shù)枝的分形。 事實(shí)證明,大量的人工神經(jīng)元能夠描述圖像并找到句子中缺失的單詞。
訓(xùn)練這些人工智能算法涉及調(diào)整數(shù)百萬(wàn)個(gè)模型權(quán)重,以使人工神經(jīng)元的模式對(duì)某些輸入敏感,例如圖像中的邊緣特征。 還需要為網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)設(shè)置偏差,以確定使相應(yīng)的人工神經(jīng)元“放電”所需的激活強(qiáng)度。
如果您曾經(jīng)見(jiàn)過(guò)覆蓋著旋鈕的模擬音樂(lè)合成器,這是一個(gè)很好的類比,但請(qǐng)將旋鈕的數(shù)量乘以一百萬(wàn)或更多。 我們的輸入可以是攝像機(jī)的輸入,在完成所有設(shè)置后,每當(dāng)圖像中看到狗時(shí),攝像機(jī)就會(huì)打開(kāi)燈。
查看表盤上的數(shù)字,我們可能會(huì)發(fā)現(xiàn)某些參數(shù)比其他參數(shù)更重要。 這給我們帶來(lái)了模型修剪的概念,這是將算法壓縮到邊緣人工智能硬件上的一種方法。
如今,開(kāi)發(fā)人員使用各種方法使邊緣 AI 神經(jīng)網(wǎng)絡(luò)運(yùn)行速度更快、尺寸更小以適應(yīng)而不影響性能。 一種方法是將非常小的模型權(quán)重歸零,這可以精確定位對(duì)算法行為影響很小的人工神經(jīng)元。
另一個(gè)技巧是通過(guò)幾次迭代重新訓(xùn)練修剪后的模型,這可能會(huì)導(dǎo)致對(duì)其他參數(shù)進(jìn)行微調(diào),以恢復(fù)任何丟失的準(zhǔn)確性。 一些經(jīng)過(guò)修剪的圖像識(shí)別算法可以比原始神經(jīng)網(wǎng)絡(luò)表現(xiàn)得更有效,這對(duì)于邊緣人工智能來(lái)說(shuō)是一個(gè)很好的結(jié)果。
不幸的是,大型語(yǔ)言模型(LLM)可能更難優(yōu)化,因?yàn)橹匦掠?xùn)練步驟并不簡(jiǎn)單。 但一種名為 Wanda(通過(guò)權(quán)重和激活進(jìn)行修剪)的新方法已在 LLaMA 系列 LLM 上進(jìn)行了評(píng)估,表明考慮激活路徑可以修剪 50% 的結(jié)構(gòu),而不會(huì)造成性能的重大損失。 而且,重要的是,不需要重新運(yùn)行訓(xùn)練來(lái)更新權(quán)重。
考慮權(quán)重的表示方式也很有幫助——例如,將值存儲(chǔ)為 8 位整數(shù)而不是單精度浮點(diǎn)格式 (FP32) 可以顯著節(jié)省內(nèi)存。 傳統(tǒng)上,模型權(quán)重被縮放到 0 到 1 之間,但這些值仍然可以從節(jié)省內(nèi)存的整數(shù)中恢復(fù)以進(jìn)行處理。
使邊緣人工智能應(yīng)用程序的算法更加高效的另一種策略是部署所謂的教師和學(xué)生模型,學(xué)生可以從教師提供的更豐富的信息中學(xué)習(xí)。 具體來(lái)說(shuō),教師模型可以為學(xué)生模型提供最可能結(jié)果的概率分布作為訓(xùn)練輸入。
這種方法已成功用于構(gòu)建 DistilBERT,這是 BERT 的精煉版本:更小、更快、更便宜、更輕。 Hugging Face 研究人員使用教師和學(xué)生模型(也稱為知識(shí)蒸餾)表明,可以將 BERT 模型的大小減少 40%,同時(shí)保留 97% 的語(yǔ)言理解能力,速度提高 60%。
要理解為什么這如此重要,值得注意的是 BERT 是目前最有用的 NLP 模型之一。 BERT 可用于文本編碼,以從其他數(shù)據(jù)中檢索相似的段落。 它可以總結(jié)大量的文本信息并提供問(wèn)題的答案。
考慮到邊緣人工智能,輕量級(jí) NLP 模型可以在本地處理數(shù)據(jù),以保護(hù)隱私并保護(hù)客戶可能不希望發(fā)送到云端的敏感信息。 例如,公司可以使用 DistilBERT 構(gòu)建自己專有的語(yǔ)義搜索引擎來(lái)導(dǎo)航業(yè)務(wù)數(shù)據(jù),而無(wú)需將任何數(shù)據(jù)發(fā)送給 Google。
人工智能成功案例
云中人工智能的成功故事啟發(fā)了各種用例。 而且,隨著開(kāi)發(fā)人員在將算法性能壓縮到更小的占用空間方面變得更加熟練,我們預(yù)計(jì)這些優(yōu)勢(shì)也將轉(zhuǎn)化為邊緣人工智能應(yīng)用程序。
此外,用戶可以依靠越來(lái)越多的工具來(lái)優(yōu)化他們的機(jī)器學(xué)習(xí)模型。 谷歌的 TensorFlow 模型優(yōu)化工具包支持將模型部署到對(duì)處理、內(nèi)存、功耗、網(wǎng)絡(luò)使用和模型存儲(chǔ)空間有限制的邊緣設(shè)備。
還有其他選項(xiàng),例如可以為嵌入式系統(tǒng)提供高效深度學(xué)習(xí)的模型優(yōu)化 SDK。 供應(yīng)商包括瑞典深度科技公司 Embedl,該公司最近籌集了 45 MSEK(410 萬(wàn)美元)來(lái)擴(kuò)大其業(yè)務(wù)。
“Embedl 的解決方案在汽車領(lǐng)域開(kāi)發(fā)自動(dòng)駕駛系統(tǒng) (AD) 和高級(jí)駕駛輔助系統(tǒng) (ADAS) 時(shí)提供了顯著的性能增強(qiáng),”該公司在其網(wǎng)站上寫道。 “它還將使人工智能能夠融入到硬件功能較弱的消費(fèi)產(chǎn)品中。”
該公司表示,客戶可以使用該 SDK 創(chuàng)建可在電池供電設(shè)備上運(yùn)行的深度學(xué)習(xí)算法,這標(biāo)志著邊緣人工智能的另一個(gè)趨勢(shì)。
訪談
更多做行業(yè)賦能者 HID迎接數(shù)字化浪潮新機(jī)遇 破解新挑戰(zhàn)
今年3月份,全球可信身份解決方案提供商HID發(fā)布了最新的《安防行業(yè)現(xiàn)狀報(bào)告》(以下簡(jiǎn)稱“報(bào)告”),該報(bào)告…
數(shù)字化浪潮下,安防廠商如何滿足行業(yè)客戶的定制化需求?
回顧近兩年,受疫情因素影響,包括安防在內(nèi)的諸多行業(yè)領(lǐng)域都遭受了來(lái)自市場(chǎng) “不確定性”因素的沖擊,市場(chǎng)…
博思高鄧紹昌:乘產(chǎn)品創(chuàng)新及客戶服務(wù)之舟,在市場(chǎng)變革中逆風(fēng)飛揚(yáng)
11月24日,由慧聰物聯(lián)網(wǎng)、慧聰安防網(wǎng)、慧聰電子網(wǎng)主辦的2022(第十九屆)中國(guó)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)暨品牌盛會(huì),在深…