隨著人工智能帶來的好處，例如提高生產(chǎn)力、降低運營成本和加快產(chǎn)品上市速度等，越來越多企業(yè)正在廣泛應(yīng)用人工智能。

在新冠肺炎疫情期間，人工智能的采用率飆升。某間全球決策情報公司在2021年對5,000多家企業(yè)進行的一項全球調(diào)查結(jié)果顯示，43%的企業(yè)報告稱，由于新冠疫情，他們的公司加速了人工智能的推出。

其次，云服務(wù)加速了人工智能的采用。Tractica預(yù)測，到2025年，人工智能在公共云服務(wù)總收入中的占比將高達50%。該研究公司還預(yù)計，全球人工智能市場收入將以每年57%的速度增長。

另外，O'Reilly出版的一項于2021年對3,000多名參與者進行全球調(diào)查顯示，人工智能應(yīng)用第二重要的行業(yè)是技術(shù)、金融和醫(yī)療保健行業(yè)。

企業(yè)在大規(guī)模應(yīng)用人工智能的同時，仍普遍存在若干憂慮，其中包括人工智能的安全性和合規(guī)性。

挑戰(zhàn)與風(fēng)險

人工智能市場的增長并非一帆風(fēng)順，意外和事故頻發(fā)，例如在不知情或未經(jīng)同意的情況下獲取了大約160萬個人的機密醫(yī)療記錄而面臨訴訟；自動駕駛車禍等人身傷害事件；人工智能聊天機器人被平臺上的不當(dāng)帖子破壞而并在推出后不到24小時內(nèi)開始發(fā)布攻擊性推文；Deepfake視頻等等的事件。

從這些案例中可以看到人工智能采用帶來的數(shù)據(jù)隱私和安全隱患，以及人工智能的漏洞。所以采用人工智能有相對應(yīng)的挑戰(zhàn)和風(fēng)險。

采用人工智能技術(shù)時常見的挑戰(zhàn)包括：

用于訓(xùn)練人工智能的敏感數(shù)據(jù)可能會引發(fā)隱私問題，尤其是在涉及個人數(shù)據(jù)的情況下，并且數(shù)據(jù)可能會在沒有足夠安全保護的情況下受到損害

訓(xùn)練數(shù)據(jù)中的偏差會影響人工智能的行為或結(jié)果，導(dǎo)致解決方案無法按預(yù)期運行

人工智能系統(tǒng)錯誤可能對用戶造成傷害

人工智能使用的算法和生成的結(jié)果是否可以被專家和用戶理解和解釋

誰對人工智能做出的決定以及人工智能的運作方式負(fù)責(zé)

人工智能是否符合道德、社會規(guī)范以及企業(yè)價值觀

缺乏開發(fā)或監(jiān)督人工智能模型，并對人工智能進行管理的專業(yè)人才

使用人工智能時會涉及的風(fēng)險包括：

運營風(fēng)險：人工智能能否實現(xiàn)業(yè)務(wù)目標(biāo)，以及人工智能失敗時是否有應(yīng)急預(yù)案

技術(shù)風(fēng)險：在人工智能開發(fā)過程中，與使用不同技術(shù)相關(guān)的風(fēng)險

模型風(fēng)險：與人工智能模型的可靠性相關(guān)的風(fēng)險

第三方風(fēng)險：第三方參與人工智能開發(fā)過程時的相關(guān)風(fēng)險

安全風(fēng)險：與支持人工智能系統(tǒng)的數(shù)據(jù)、軟件和硬件相關(guān)的信息安全和網(wǎng)絡(luò)安全風(fēng)險

道德和合規(guī)風(fēng)險

與訓(xùn)練數(shù)據(jù)相關(guān)的數(shù)據(jù)質(zhì)量風(fēng)險

監(jiān)管要求

隨著人工智能技術(shù)的應(yīng)用和發(fā)展，監(jiān)管機構(gòu)已經(jīng)發(fā)布了若干與人工智能安全相關(guān)的監(jiān)管要求或指南。同時，亦有不同監(jiān)管機構(gòu)正在起草和發(fā)布越來越多的法規(guī)和標(biāo)準(zhǔn)。以下有幾個例子：

香港金融管理局（HKMA）發(fā)出的通函

金管局關(guān)于“人工智能高級原則”的通函為銀行業(yè)使用人工智能應(yīng)用程序提供了原則和指導(dǎo)金管局關(guān)于“授權(quán)機構(gòu)在使用大數(shù)據(jù)分析和人工智能方面保護消費者”的通函就銀行業(yè)使用大數(shù)據(jù)分析和人工智能的消費者保護方面提供了一些指導(dǎo)原則

《國家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》

于2020年發(fā)布，《國家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》概述了建立國家人工智能標(biāo)準(zhǔn)體系的戰(zhàn)略，涵蓋人工智能不同方面的標(biāo)準(zhǔn)，如硬件和軟件、概念、應(yīng)用、安全和倫理預(yù)計2023年會初步完成人工智能標(biāo)準(zhǔn)體系

《人工智能法》（“Artificial Intelligence Act”）（草案）

歐盟委員會于2021年4月21日提出的法規(guī)草案是對GDPR的補充，并具有域外效力法規(guī)規(guī)定的某些義務(wù)包括風(fēng)險管理、數(shù)據(jù)治理、技術(shù)文檔、記錄保存、透明度和向用戶提供信息、人工監(jiān)督、準(zhǔn)確性和網(wǎng)絡(luò)安全穩(wěn)健性

《國家人工智能倡議法案》（“National AI Initiative Act”）

在國家層面，美國國會于2021年1月頒布的一個總體框架，以加強和協(xié)調(diào)美國所有部門和機構(gòu)的人工智能研究、開發(fā)、示范和教育活動

以上監(jiān)管/指南均共同提出的控制要求包括：

透明度——在提供服務(wù)之前，應(yīng)告知用戶該服務(wù)所采取的人工智能技術(shù)以及所涉及的風(fēng)險

可解釋性——應(yīng)當(dāng)向所有相關(guān)方解釋應(yīng)用程序的邏輯

隱私和數(shù)據(jù)治理——遵守適用的數(shù)據(jù)保護要求，并確保用于訓(xùn)練人工智能應(yīng)用程序的數(shù)據(jù)具有良好的質(zhì)量和相關(guān)性

公平——人工智能決策不會歧視或表現(xiàn)出對任何用戶群體的偏見

可靠性、彈性和穩(wěn)健性——確保人工智能決策的準(zhǔn)確性，并實施有效的網(wǎng)絡(luò)安全措施，以應(yīng)對對人工智能模型和應(yīng)用程序的攻擊

問責(zé)制——確保為人工智能驅(qū)動的決策建立問責(zé)制

人工代理和監(jiān)督——實施應(yīng)急措施，在人工智能出現(xiàn)意外結(jié)果時允許人工干預(yù)

治理人工智能的運用

Gartner預(yù)計，到2026年，實施人工智能透明度、信任和安全性的組織將看到他們的人工智能模型在采用、業(yè)務(wù)目標(biāo)和用戶接受度方面實現(xiàn)50%的成果改進。Gartner調(diào)查結(jié)果表明，組織已經(jīng)部署了成百上千個IT 領(lǐng)導(dǎo)者無法解釋的人工智能模型。缺乏知識和理解可能會產(chǎn)生嚴(yán)重的后果。當(dāng)依賴增加時，人工智能模型表現(xiàn)不佳的影響會被放大。不管理人工智能風(fēng)險的組織更有可能遇到負(fù)面的人工智能結(jié)果和違規(guī)行為。模型不會按預(yù)期運行，并且會出現(xiàn)安全和隱私問題、財務(wù)和聲譽損失以及對個人的傷害。錯誤執(zhí)行的人工智能也可能導(dǎo)致組織做出糟糕的業(yè)務(wù)決策。

為確保人工智能系統(tǒng)的安全性和合規(guī)性，企業(yè)應(yīng)當(dāng)對人工智能技術(shù)的運用進行治理。有效的人工智能治理將包括以下關(guān)鍵控制領(lǐng)域：

法規(guī)和政策——了解適用的法律法規(guī)，制定人工智能領(lǐng)域的政策

標(biāo)準(zhǔn)和規(guī)范——制定人工智能安全要求的標(biāo)準(zhǔn)和規(guī)范，以納入人工智能系統(tǒng)和解決方案

技術(shù)方法——實施技術(shù)措施以應(yīng)對人工智能風(fēng)險

安全評估——評估人工智能系統(tǒng)的安全性、彈性和穩(wěn)健性，并進行持續(xù)監(jiān)控和審查

人才發(fā)展——為負(fù)責(zé)人工智能開發(fā)、部署和管理的員工提供充分的培訓(xùn)

可控環(huán)境——確保人工智能解決方案在其整個生命周期內(nèi)可解釋且一致，并保持人工對人工智能系統(tǒng)的監(jiān)督

安全管理正面對的挑戰(zhàn)

首先，整個網(wǎng)絡(luò)安全行業(yè)的勞動力缺口正在逐年擴大。在需求方面，在新冠肺炎疫情肆虐下，世界各國為此實施不同程度的防疫政策，保障人民生命健康。為應(yīng)對營商環(huán)境的轉(zhuǎn)變，愈來愈多企業(yè)因此走向數(shù)字化轉(zhuǎn)型，包括將線下業(yè)務(wù)遷至線上發(fā)展、安排員工遠程工作、把IT基礎(chǔ)設(shè)施遷移到云計算環(huán)境等等，力求在激烈變化的環(huán)境下為企業(yè)獲取新的業(yè)務(wù)機會。但與此同時，企業(yè)在網(wǎng)絡(luò)安全方面所暴露的攻擊面亦隨之增加。為此，企業(yè)需要采取措施加強網(wǎng)路安全防護水平，例如聘用網(wǎng)絡(luò)安全專家或?qū)で蟀踩泄芊?wù)來為企業(yè)部署安全解決方案，并對企業(yè)IT環(huán)境進行監(jiān)控、評估和優(yōu)化。

其次，在安全服務(wù)供應(yīng)方面，在Ponemon Institute LLC 發(fā)布的“Improving the effectiveness of the Security Operation Center”[1]研究報告中，可以看到安全運營中心（SOC）在日常運營當(dāng)中存在不少痛點，有73%的受訪者認(rèn)為“不斷增加的工作量會導(dǎo)致工作上的倦怠”，有65%的受訪者表示“那些痛點令他們考慮辭去分析師崗位以謀求其他職位”，從長遠的角度來說，市場必將出現(xiàn)安全分析師供應(yīng)短缺的情況。不少 SOC的安全分析師長期面臨著海量枯燥的工作，例如長時間的輪班、警報帶來的乏味、耗時的調(diào)查，因此，有部分經(jīng)驗豐富的分析師愿意轉(zhuǎn)向其他職位以減少工作上的壓力。此外，安全運營團隊每天都需要處理來自多個安全平臺的警報，其中包括不少虛假警報，這遠遠超出了團隊人員能夠擔(dān)負(fù)的處理速度。

最后，隨著互聯(lián)網(wǎng)應(yīng)用的普及化，所對應(yīng)的網(wǎng)絡(luò)威脅數(shù)目隨之上升，而且其復(fù)雜性也相對增加，為此對網(wǎng)絡(luò)安全也帶來了挑戰(zhàn)。如今，移動設(shè)備、物聯(lián)網(wǎng)、云計算在企業(yè)中的應(yīng)用日益普及，攻擊面也相對增加。此外，黑客可以利用人工智能來不斷變形病毒/惡意軟件，而傳統(tǒng)的靜態(tài)防御解決方案未必能對此有效檢測以及阻斷。另一個原因是網(wǎng)絡(luò)攻擊服務(wù)化（Cyberattack-as-a-Service），令網(wǎng)絡(luò)攻擊變得普及，攻擊者自身不須擁有強大的黑客知識亦可以通過支付加密貨幣獲得攻擊工具。

人工智能如何改變安全運營

人工智能在安全運營中的其中一大作用是協(xié)助安全分析師的工作。畢竟，它不太可能完全取代有經(jīng)驗的人類。反之，人工智能可以專注于比人類擅長的領(lǐng)域去協(xié)助人類，如分析大數(shù)據(jù)，替人類進行繁瑣、重復(fù)的任務(wù)，以便分析師能夠發(fā)揮更復(fù)雜的技能，如創(chuàng)造力、細微差別和專業(yè)知識。

此外，通過人工智能對安全事件進行分析，查詢海量數(shù)據(jù)并在整個網(wǎng)絡(luò)中進行透視，以收集事件告警的背景并進行調(diào)查，整理出高優(yōu)先級的事件讓分析師加以關(guān)注。同時，人工智能通過分析人類分析師調(diào)查警報的過程，進行訓(xùn)練以及機器學(xué)習(xí)，當(dāng)未來有類似的事件發(fā)生時，機器可在通知分析師前生成多個查詢，并同時調(diào)查所有平行威脅。

人工智能在安全運營的應(yīng)用

為人類帶來增援

為應(yīng)對海量的告警以及高級持續(xù)性威脅（Advanced Persistent Threat, APT），網(wǎng)絡(luò)安全運營團隊積極尋求人工智能（AI）和機器學(xué)習(xí)（ML）來提高效率，分析師因此能減少分析所需時間，包括采用人工智能的威脅狩獵工具（Threat hunting tool）提高企業(yè)對隱藏威脅的檢測。例如，采用無監(jiān)督ML算法的用戶行為分析工具（User behavior Analytics, UBA）可以持續(xù)監(jiān)測和分析用戶活動、系統(tǒng)安全變化、網(wǎng)絡(luò)流量和對應(yīng)用程序和數(shù)據(jù)的訪問檢測和標(biāo)記異常情況，使得該威脅對環(huán)境造成破壞之前，企業(yè)可以把未知的威脅更快地轉(zhuǎn)化為已知的威脅。因此，網(wǎng)絡(luò)安全運營團隊在 AI/ML工具協(xié)助下，可以采取更積極的策略，對事件作出相應(yīng)的反應(yīng)。

識別攻擊

針對惡意軟件以及惡意行為，傳統(tǒng)的安全解決方案大多以特征（Signature-based）檢測來進行識別?？墒?，它必須在漏洞被公開以及廠商開發(fā)團隊加入攻擊特征后才能識別威脅。然而，時下較流行的攻擊大多以TTP（Tactic, Technique, Procedure）去避開特征的檢測。采用人工智能檢測，可通過分析大量日志、事件類型，以及結(jié)果去識別全新、經(jīng)過變形或APT攻擊，從而更快識別出威脅。

事件響應(yīng)自動化

在事件響應(yīng)（Incident Response）的方面，相對于安全分析師，基于人工智能的安全工具一旦發(fā)現(xiàn)威脅就可以對其作出反應(yīng)。事件響應(yīng)的自動化使事件的響應(yīng)更加容易，而且速度和效率更高。其次，AI/ML在事件響應(yīng)中通過記錄威脅模式及其隨時間變化的特征，建立威脅信息庫并分析這些威脅如何運作，從而根據(jù)算法驅(qū)動的分析來創(chuàng)建事件響應(yīng)預(yù)案。

透過使用由AI/ML驅(qū)動自動生成的預(yù)案，可以使SOC 更有效地集中資源。人工智能事件響應(yīng)工具可以根據(jù)風(fēng)險分析和以前的事件響應(yīng)，當(dāng)面對類似的安全事件，即可以給予分析師如何執(zhí)行的建議。人工智能事件響應(yīng)工具亦可根據(jù)安全分析師的專業(yè)知識、實際可用性和案例歷史，作出資源分配，向SOC團隊建議如何作出人員分配。這有助于提高整個團隊的分析效率，同時利用自動化來節(jié)省安全分析師的時間，以進行更高級別的增值工作。

網(wǎng)絡(luò)安全運營團隊該如何面對人工智能

通過以上對人工智能影響安全運營的了解，我們可以預(yù)見人工智能的出現(xiàn)將改變大多數(shù)IT和信息安全行業(yè)人員的角色。有部分的行業(yè)人員對此有著極大的擔(dān)憂，例如擔(dān)心自己會被人工智能控制的機器人取代。事實上，人工智能工具能為信息安全專業(yè)人員創(chuàng)造機會，使他們能夠更有效地履行工作職責(zé)，同時也可利用新洞察來改善整個信息安全計劃，并與SOC之外的其他團隊展開更多合作。

在一般的SOC工作中，安全分析員每天查看網(wǎng)絡(luò)流量和來自不同系統(tǒng)的日志，以確定安全事件是否構(gòu)成需要進一步調(diào)查的威脅。而SOC傳統(tǒng)的分工上，一線（Tier-1）分析師負(fù)責(zé)查看警報，二線（Tier-2）分析師尋找可能的攻擊，三線（Tier-3）分析師執(zhí)行事件響應(yīng)，安全工程師則負(fù)責(zé)想出更好的方法來使基礎(chǔ)設(shè)施更加安全。

然而，當(dāng)我們把人工智能以及自動化應(yīng)用在安全運營的場景后，人工智能會代替分析師處理以往相對低階和繁雜的日常工作，如查看告警、分析、檢測等等。故此，團隊必須調(diào)整每個崗位的角色以及職責(zé)，調(diào)整培訓(xùn)計劃的重點，例如讓分析師建立與人工智能系統(tǒng)合作的技能，建立良好的溝通技巧以便對企業(yè)的業(yè)務(wù)部門解釋安全問題。

結(jié)語

在當(dāng)今人工智能持續(xù)發(fā)展的趨勢下，企業(yè)應(yīng)以不同視角去看待人工智能的使用，特別是人工智能如何影響網(wǎng)絡(luò)安全管理。雖然人工智能的使用為企業(yè)帶來挑戰(zhàn)和風(fēng)險，但同時人工智能也能有效解決勞動力短缺以及有效提升網(wǎng)絡(luò)安全管理的效果和效率。故此，企業(yè)為有效應(yīng)對挑戰(zhàn)以及控制風(fēng)險，應(yīng)及早制定內(nèi)部人工智能安全要求的政策、標(biāo)準(zhǔn)和規(guī)范，開展對人工智能的應(yīng)用研發(fā)，構(gòu)建人工智能驅(qū)動的網(wǎng)絡(luò)安全管理能力。在企業(yè)不斷發(fā)展的道路上，人工智能將助力企業(yè)在現(xiàn)今的大環(huán)境中提高生產(chǎn)力及綜合競爭力。

最后，安永專業(yè)團隊希望透過提供各種服務(wù)，協(xié)助企業(yè)在評估、計劃、構(gòu)建、實施等不同階段，成功實施人工智能網(wǎng)絡(luò)安全和安全管理。服務(wù)包括但不限于：

合規(guī)性評估

安全風(fēng)險評估

內(nèi)部政策的制定和審查

員工培訓(xùn)材料和研討會

AISecOps工具的微調(diào)和實施

AISecOps成熟度評估

注：

[1] Ponemon Institute LLC. (n.d.). Improving the effectiveness of the security operations center - devo.com. Retrieved October 31, 2022

本文是為提供一般信息的用途所撰寫，并非旨在成為可依賴的會計、稅務(wù)、法律或其他專業(yè)意見。請向您的顧問獲取具體意見。