大多數(shù)人工智能系統(tǒng)都基于神經(jīng)網(wǎng)絡(luò)，其算法受到大腦中生物神經(jīng)元的啟發(fā)。然而，某些人類可以理解的視覺輸入等信息，可能被人工神經(jīng)網(wǎng)絡(luò)(ANN)解釋為完全不同的東西，比如圖像分類系統(tǒng)將貓誤認(rèn)為是狗，甚至是無人駕駛汽車可能將停車信號(hào)誤認(rèn)為是優(yōu)先通行標(biāo)志。

由于不一定總是視覺性輸入，看一眼就分析出系統(tǒng)出錯(cuò)的原因并不那么容易。攻擊者可能利用這一點(diǎn)來破壞基于人工神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，例如巧妙地改變預(yù)期輸入模式，使其被誤解。這樣系統(tǒng)將出現(xiàn)錯(cuò)誤行為，甚至可能出現(xiàn)問題。

研究人員針對(duì)此類攻擊設(shè)計(jì)過一些防御技術(shù)，但存在一定的局限性。據(jù)外媒報(bào)道，東京大學(xué)醫(yī)學(xué)系研究科(University of Tokyo Graduate School of Medicine)的應(yīng)屆畢業(yè)生Jumpei Ukita和Kenichi Ohki教授設(shè)計(jì)并測(cè)試了一種改善ANN防御機(jī)制的新方法。

Ohki表示：“神經(jīng)網(wǎng)絡(luò)通常由虛擬神經(jīng)元層組成。第一層通常負(fù)責(zé)通過識(shí)別與特定輸入相對(duì)應(yīng)的元素來分析輸入信息。攻擊者可能提供一些帶有偽影(artifact)的圖像，欺騙網(wǎng)絡(luò)對(duì)其進(jìn)行錯(cuò)誤分類。針對(duì)這種攻擊的常見防御措施，可能是故意在第一層中引入一些噪聲，從而更好地適應(yīng)視覺場景或其他輸入集，但是這種方法并不總是有效。研究人員認(rèn)為，可以通過超越輸入層，深入到網(wǎng)絡(luò)內(nèi)部來改善這個(gè)問題。”

除了計(jì)算機(jī)，Ukita和Ohki還研究了人類的大腦，因此在人工神經(jīng)網(wǎng)絡(luò)中使用他們所知道的現(xiàn)象，不僅要在輸入層中添加噪聲，還要在更深的層中添加噪聲。這種做法通常是避免采用的，因?yàn)樵谡Ｇ闆r下可能影響網(wǎng)絡(luò)的有效性。然而，結(jié)果正好相反，噪聲提高了他們測(cè)試的人工神經(jīng)網(wǎng)絡(luò)的適應(yīng)性，從而降低了其對(duì)模擬對(duì)抗性攻擊的敏感性。

Ukita表示：“第一步是設(shè)計(jì)一種假設(shè)的攻擊方法，使其攻擊深度超過輸入層。這種攻擊需要承受輸入層上具有標(biāo)準(zhǔn)噪聲防御的網(wǎng)絡(luò)的回彈(resilience)。這些被稱為特征空間對(duì)抗示例。這些攻擊的工作原理是，故意提供超出(而不是接近)ANN可以正確分類的輸入。其訣竅是向更深層呈現(xiàn)微妙的誤導(dǎo)性偽影。一旦這樣的攻擊表現(xiàn)出危險(xiǎn)性，研究人員就會(huì)將隨機(jī)噪聲注入網(wǎng)絡(luò)中更深的隱藏層，以提高它們的適應(yīng)性，從而提高防御能力。結(jié)果證明這是有效的。”

該團(tuán)隊(duì)希望進(jìn)一步開發(fā)這項(xiàng)技術(shù)，使其能夠更有效地抵御預(yù)期攻擊，以及尚未測(cè)試過的其他攻擊類型。目前的防御僅針對(duì)特定類型攻擊。Ukita表示：“未來的攻擊者可能會(huì)考慮避開這項(xiàng)研究中提到的特征空間噪聲。事實(shí)上，進(jìn)攻和防御是同一枚硬幣的兩面，是一場雙方都不會(huì)退縮的競賽。因此，研究人員需要不斷迭代、改進(jìn)和推出創(chuàng)新想法，以保護(hù)大家日常都在使用的系統(tǒng)?！?/p>