隱私專家創(chuàng)建了一種AI算法，可以自動測試隱私保護(hù)系統(tǒng)是否存在潛在的數(shù)據(jù)泄露。這是人工智能首次被用于自動發(fā)現(xiàn)這類系統(tǒng)中的漏洞，需要特別注意的是，在谷歌地圖和Facebook都發(fā)現(xiàn)了這些漏洞。

來自帝國計(jì)算隱私集團(tuán)（Imperial’s Computational Privacy Group）的專家們研究了對基于查詢的系統(tǒng)（QBS）的攻擊。QBS是一種受控制的接口，分析師可以通過該接口查詢數(shù)據(jù)，以提取關(guān)于世界的有用聚合信息。然后，他們開發(fā)了一種新的AI支持的方法，名為QuerySnout，用于檢測對QBS的攻擊。

QBS使分析師能夠訪問從個人層面數(shù)據(jù)（如位置和人口統(tǒng)計(jì)數(shù)據(jù)）收集的統(tǒng)計(jì)數(shù)據(jù)。它們目前在谷歌地圖中用于顯示一個地區(qū)有多繁忙的實(shí)時信息，或者在Facebook的受眾測量功能中用于估計(jì)特定位置或人口的受眾規(guī)模，以幫助廣告促銷。

在作為第29屆ACM計(jì)算機(jī)與通信安全會議的一部分發(fā)表的新研究中，包括數(shù)據(jù)科學(xué)研究所的Ana Maria Cretu、Florimond Houssiau博士、Antoine Cully博士和Yves Alexandre de Montjoye博士在內(nèi)的團(tuán)隊(duì)發(fā)現(xiàn)，只要按下一個按鈕，就可以很容易地自動檢測到針對QBS的強(qiáng)大而準(zhǔn)確的攻擊。

根據(jù)資深作者伊夫·亞歷山大·德·蒙喬伊博士的說法：“迄今為止，攻擊都是使用高技能的專業(yè)知識手動開發(fā)的。這意味著漏洞需要很長時間才能被發(fā)現(xiàn)，這會使系統(tǒng)面臨風(fēng)險。

在發(fā)現(xiàn)真實(shí)世界系統(tǒng)中的漏洞方面，OuerySnout已經(jīng)超過了人類。”

在過去十年中，我們收集和存儲數(shù)據(jù)的能力呈爆炸式增長。盡管這些數(shù)據(jù)有助于推動科學(xué)進(jìn)步，但大部分?jǐn)?shù)據(jù)都是個人數(shù)據(jù)，因此其使用引發(fā)了嚴(yán)重的隱私問題，受到了歐盟《通用數(shù)據(jù)保護(hù)條例》等法律的保護(hù)。

因此，對于數(shù)據(jù)科學(xué)家和隱私專家來說，在保護(hù)我們的基本隱私權(quán)的同時，使數(shù)據(jù)能夠永久使用是一個及時而關(guān)鍵的問題。

QBS有可能實(shí)現(xiàn)大規(guī)模的隱私保護(hù)匿名數(shù)據(jù)分析。在QBS中，策展人可以控制數(shù)據(jù)，因此可以檢查和檢查分析師發(fā)送的查詢，以確保返回的答案不會泄露個人的隱私信息。

然而，非法攻擊者可以通過設(shè)計(jì)查詢來繞過此類系統(tǒng)，通過利用系統(tǒng)的漏洞或?qū)崿F(xiàn)漏洞來推斷特定人員的個人信息。

攻擊者利用系統(tǒng)中的漏洞進(jìn)行未知的強(qiáng)“零日”攻擊的風(fēng)險阻礙了QBS的開發(fā)和部署。為了測試這些系統(tǒng)的穩(wěn)健性，與網(wǎng)絡(luò)安全滲透測試類似，可以模擬數(shù)據(jù)泄露攻擊，以檢測信息泄漏并識別潛在漏洞。

然而，針對復(fù)雜QBS手動設(shè)計(jì)和實(shí)施這些攻擊是一個困難而漫長的過程。因此，研究人員表示，限制強(qiáng)烈的未緩解攻擊的可能性對于使QBS能夠有效和安全地實(shí)施，同時保護(hù)個人隱私權(quán)至關(guān)重要。

帝國團(tuán)隊(duì)開發(fā)了一種新的人工智能支持方法，名為QuerySnout，該方法通過學(xué)習(xí)向系統(tǒng)詢問哪些問題來獲得答案。然后，它學(xué)會自動組合答案，以檢測潛在的隱私漏洞。

通過使用機(jī)器學(xué)習(xí)，該模型可以創(chuàng)建由一組查詢組成的攻擊，這些查詢組合了答案，以揭示特定的私人信息。這個過程是完全自動化的，并使用了一種稱為“進(jìn)化搜索”的技術(shù)，這使得QuerySnout模型能夠發(fā)現(xiàn)正確的問題集。

這發(fā)生在“黑匣子設(shè)置”中，這意味著人工智能只需要訪問系統(tǒng)，但不需要知道系統(tǒng)如何工作以檢測漏洞。

聯(lián)合第一作者Ana Maria Cretu表示：“我們證明QuerySnout發(fā)現(xiàn)的攻擊比目前已知的真實(shí)世界系統(tǒng)中的攻擊更強(qiáng)大。這意味著我們的AI模型在發(fā)現(xiàn)這些攻擊方面優(yōu)于人類。”

目前，QuerySnout只測試少量功能。根據(jù)德蒙喬伊博士的說法：“未來的主要挑戰(zhàn)將是將搜索擴(kuò)展到更多的功能，以確保發(fā)現(xiàn)最先進(jìn)的攻擊。”

盡管如此，該模型可以讓分析師測試QBS對不同類型攻擊者的魯棒性。QuerySnout的開發(fā)代表了在保護(hù)與基于查詢的系統(tǒng)相關(guān)的個人隱私方面向前邁出的關(guān)鍵一步。