人工智能 (AI) 正在改變當(dāng)今的工業(yè)格局。 從企業(yè)軟件到機(jī)器自動(dòng)化的一切都受益于多層神經(jīng)網(wǎng)絡(luò)的能力（通過(guò)足夠的數(shù)據(jù)和訓(xùn)練）來(lái)理解我們的世界。 但隨著深度學(xué)習(xí)模型規(guī)模的不斷膨脹，為更復(fù)雜的自然語(yǔ)言處理 (NLP) 和其他人工智能應(yīng)用打開(kāi)了大門，所需的計(jì)算量也隨之增加。 對(duì)于邊緣人工智能來(lái)說(shuō)，這就是一個(gè)問(wèn)題。

邊緣AI趨勢(shì)

在智能手機(jī)或車載車輛等便攜式計(jì)算硬件上部署深度學(xué)習(xí)算法，使用戶能夠獲得強(qiáng)大的圖像識(shí)別功能——這只是眾多用例之一。 在邊緣人工智能硬件上本地運(yùn)行模型可以提供針對(duì)任何連接中斷的恢復(fù)能力。

還有能源方面的考慮。 考慮到訓(xùn)練具有數(shù)十億參數(shù)的模型的能源成本以及在此過(guò)程中消耗大量冷卻水，用戶開(kāi)始質(zhì)疑在云中運(yùn)行大型人工智能算法對(duì)環(huán)境的影響。 但事實(shí)證明，開(kāi)發(fā)人員已經(jīng)成為修剪模型的專家，以減少深度學(xué)習(xí)推理的計(jì)算需求，而對(duì)結(jié)果的準(zhǔn)確性影響很小。

這些效率措施對(duì)于實(shí)現(xiàn)邊緣人工智能來(lái)說(shuō)是個(gè)好消息。 為了理解各種方法的工作原理，首先描繪深度學(xué)習(xí)的圖景并考慮多層神經(jīng)網(wǎng)絡(luò)如何將輸入轉(zhuǎn)化為有意義的輸出是很有用的。

在抽象層面上，您可以將深度神經(jīng)網(wǎng)絡(luò)視為通用函數(shù)逼近器。 給定足夠的參數(shù)，一切都可以用數(shù)學(xué)函數(shù)來(lái)表示。 您可能見(jiàn)過(guò)以 3D 形式繪制時(shí)看起來(lái)像貝殼的公式或類似于樹(shù)枝的分形。 事實(shí)證明，大量的人工神經(jīng)元能夠描述圖像并找到句子中缺失的單詞。

訓(xùn)練這些人工智能算法涉及調(diào)整數(shù)百萬(wàn)個(gè)模型權(quán)重，以使人工神經(jīng)元的模式對(duì)某些輸入敏感，例如圖像中的邊緣特征。 還需要為網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)設(shè)置偏差，以確定使相應(yīng)的人工神經(jīng)元“放電”所需的激活強(qiáng)度。

如果您曾經(jīng)見(jiàn)過(guò)覆蓋著旋鈕的模擬音樂(lè)合成器，這是一個(gè)很好的類比，但請(qǐng)將旋鈕的數(shù)量乘以一百萬(wàn)或更多。 我們的輸入可以是攝像機(jī)的輸入，在完成所有設(shè)置后，每當(dāng)圖像中看到狗時(shí)，攝像機(jī)就會(huì)打開(kāi)燈。

查看表盤上的數(shù)字，我們可能會(huì)發(fā)現(xiàn)某些參數(shù)比其他參數(shù)更重要。 這給我們帶來(lái)了模型修剪的概念，這是將算法壓縮到邊緣人工智能硬件上的一種方法。

如今，開(kāi)發(fā)人員使用各種方法使邊緣 AI 神經(jīng)網(wǎng)絡(luò)運(yùn)行速度更快、尺寸更小以適應(yīng)而不影響性能。 一種方法是將非常小的模型權(quán)重歸零，這可以精確定位對(duì)算法行為影響很小的人工神經(jīng)元。

另一個(gè)技巧是通過(guò)幾次迭代重新訓(xùn)練修剪后的模型，這可能會(huì)導(dǎo)致對(duì)其他參數(shù)進(jìn)行微調(diào)，以恢復(fù)任何丟失的準(zhǔn)確性。 一些經(jīng)過(guò)修剪的圖像識(shí)別算法可以比原始神經(jīng)網(wǎng)絡(luò)表現(xiàn)得更有效，這對(duì)于邊緣人工智能來(lái)說(shuō)是一個(gè)很好的結(jié)果。

不幸的是，大型語(yǔ)言模型（LLM）可能更難優(yōu)化，因?yàn)橹匦掠?xùn)練步驟并不簡(jiǎn)單。 但一種名為 Wanda（通過(guò)權(quán)重和激活進(jìn)行修剪）的新方法已在 LLaMA 系列 LLM 上進(jìn)行了評(píng)估，表明考慮激活路徑可以修剪 50% 的結(jié)構(gòu)，而不會(huì)造成性能的重大損失。 而且，重要的是，不需要重新運(yùn)行訓(xùn)練來(lái)更新權(quán)重。

考慮權(quán)重的表示方式也很有幫助——例如，將值存儲(chǔ)為 8 位整數(shù)而不是單精度浮點(diǎn)格式 (FP32) 可以顯著節(jié)省內(nèi)存。 傳統(tǒng)上，模型權(quán)重被縮放到 0 到 1 之間，但這些值仍然可以從節(jié)省內(nèi)存的整數(shù)中恢復(fù)以進(jìn)行處理。

使邊緣人工智能應(yīng)用程序的算法更加高效的另一種策略是部署所謂的教師和學(xué)生模型，學(xué)生可以從教師提供的更豐富的信息中學(xué)習(xí)。 具體來(lái)說(shuō)，教師模型可以為學(xué)生模型提供最可能結(jié)果的概率分布作為訓(xùn)練輸入。

這種方法已成功用于構(gòu)建 DistilBERT，這是 BERT 的精煉版本：更小、更快、更便宜、更輕。 Hugging Face 研究人員使用教師和學(xué)生模型（也稱為知識(shí)蒸餾）表明，可以將 BERT 模型的大小減少 40%，同時(shí)保留 97% 的語(yǔ)言理解能力，速度提高 60%。

要理解為什么這如此重要，值得注意的是 BERT 是目前最有用的 NLP 模型之一。 BERT 可用于文本編碼，以從其他數(shù)據(jù)中檢索相似的段落。 它可以總結(jié)大量的文本信息并提供問(wèn)題的答案。

考慮到邊緣人工智能，輕量級(jí) NLP 模型可以在本地處理數(shù)據(jù)，以保護(hù)隱私并保護(hù)客戶可能不希望發(fā)送到云端的敏感信息。 例如，公司可以使用 DistilBERT 構(gòu)建自己專有的語(yǔ)義搜索引擎來(lái)導(dǎo)航業(yè)務(wù)數(shù)據(jù)，而無(wú)需將任何數(shù)據(jù)發(fā)送給 Google。

人工智能成功案例

云中人工智能的成功故事啟發(fā)了各種用例。 而且，隨著開(kāi)發(fā)人員在將算法性能壓縮到更小的占用空間方面變得更加熟練，我們預(yù)計(jì)這些優(yōu)勢(shì)也將轉(zhuǎn)化為邊緣人工智能應(yīng)用程序。

此外，用戶可以依靠越來(lái)越多的工具來(lái)優(yōu)化他們的機(jī)器學(xué)習(xí)模型。 谷歌的 TensorFlow 模型優(yōu)化工具包支持將模型部署到對(duì)處理、內(nèi)存、功耗、網(wǎng)絡(luò)使用和模型存儲(chǔ)空間有限制的邊緣設(shè)備。

還有其他選項(xiàng)，例如可以為嵌入式系統(tǒng)提供高效深度學(xué)習(xí)的模型優(yōu)化 SDK。 供應(yīng)商包括瑞典深度科技公司 Embedl，該公司最近籌集了 45 MSEK（410 萬(wàn)美元）來(lái)擴(kuò)大其業(yè)務(wù)。

“Embedl 的解決方案在汽車領(lǐng)域開(kāi)發(fā)自動(dòng)駕駛系統(tǒng) (AD) 和高級(jí)駕駛輔助系統(tǒng) (ADAS) 時(shí)提供了顯著的性能增強(qiáng)，”該公司在其網(wǎng)站上寫道。 “它還將使人工智能能夠融入到硬件功能較弱的消費(fèi)產(chǎn)品中。”

該公司表示，客戶可以使用該 SDK 創(chuàng)建可在電池供電設(shè)備上運(yùn)行的深度學(xué)習(xí)算法，這標(biāo)志著邊緣人工智能的另一個(gè)趨勢(shì)。