文/徐毅廣  天津市公安局河北分局

一、政策背景

2021年是深入實施創(chuàng)新發(fā)展戰(zhàn)略，開啟"十四五"新征程的基礎之年。2021年3月"十四五"規(guī)劃正式發(fā)布。其中，"平安中國"建設作為保障人民安居樂業(yè)、維護社會大局穩(wěn)定、服務經(jīng)濟社會發(fā)展的重要工程，是維護國家政治安全、經(jīng)濟安全、文化安全、社會安全、生態(tài)安全等重點領域安全的必然要求，已經(jīng)成為"十四五"規(guī)劃的關鍵部分，對國家治理體系和治理能力現(xiàn)代化提出了更高要求。面對當前復雜的國內外形勢，要處理好國家安全和城市安全等社會經(jīng)濟領域的重大問題，要加強社會治理，化解社會矛盾，維護社會穩(wěn)定，把安全發(fā)展貫穿國家發(fā)展各領域和全過程，防范和化解影響我國現(xiàn)代化進程的各種風險，筑牢國家安全屏障。

從社會公共安全的角度分析，全面完善社會治安防控體系是"平安中國"建設的重中之重，包括：強化基礎信息采集、推動大數(shù)據(jù)匯集應用、提高情報綜合研判和情報預警水平，提升重點部位聯(lián)動防控、重大風險聯(lián)動穩(wěn)控和重要領域聯(lián)動管控的綜合能力，推動偵查破案在合成作戰(zhàn)和精確打擊方向的深化，增強社會面整體防控能力和應急處突能力，形成立體化社會治安防控體系的合力。

近年來，中辦國辦、國家9部委和公安部先后出臺一系列文件，就加強公共安全視頻監(jiān)控建設聯(lián)網(wǎng)和深化視頻監(jiān)控智能應用等工作進行了整體部署。公共安全視頻監(jiān)控建設聯(lián)網(wǎng)應用作為新形勢下維護國家安全和社會穩(wěn)定、預防和打擊暴恐犯罪的重要手段，被提升到前所未有的高度。公安部圍繞全面貫徹落實視頻監(jiān)控智能應用，在《公安發(fā)展"十三五"規(guī)劃》及《"十三五"公安信息化總體技術架構》中明確提出：在部、省、市建設視頻圖像信息解析系統(tǒng)，實現(xiàn)對視頻內容進行結構化分析、信息提取，提供專業(yè)的視頻圖像處理、分析、檢索及視頻大數(shù)據(jù)分析、比對碰撞服務，有效支撐社會治安立體防控。在《公安視頻圖像智能化建設應用指南》中提出：拓展視頻圖像全時解析的"智感"前端，優(yōu)化承載各類泛在感知數(shù)據(jù)的"智聯(lián)"網(wǎng)絡，打造云邊協(xié)同的"智算"環(huán)境，提升挖掘視頻圖像價值信息的"智萃"能力，實現(xiàn)視頻圖像全時段高效調閱、多要素解析比對、多方位智能關聯(lián)、多維度預測分析、各警種普遍受益的"智惠"應用，建立業(yè)務規(guī)范、技術先進、應用高效的視頻圖像智能化應用技術手段，形成全國一體的公安視頻圖像智能化應用體系，全面助推公安工作整體效能和核心戰(zhàn)斗力提升。

二、建設現(xiàn)狀

隨著平安城市和雪亮工程的深入建設，大部分城市以 "高清視頻監(jiān)控系統(tǒng)"為基礎，按照"圈、塊、格、線、點"的建設思路，初步實現(xiàn)了城區(qū)視頻的全域覆蓋，重要路口、主要道路、重點部位的視頻全面監(jiān)控，為反恐維穩(wěn)、應急處突、打擊犯罪、社會管理和服務群眾提供了豐富的視頻圖像支撐。以一二線城市的區(qū)縣分局的視頻監(jiān)控類資源為例，一類視頻監(jiān)控點位規(guī)模平均2000路，二類聯(lián)網(wǎng)視頻平均2000路，交警道路監(jiān)控點位平均1000路，日均產(chǎn)生100余T的視頻資源、300余萬條卡口抓拍數(shù)據(jù)等。但是，視頻和數(shù)據(jù)資源暫時還沒有打破傳統(tǒng)的平臺壁壘，只能在各自平臺單獨存儲并進行簡單調用，難以形成有效的自有數(shù)據(jù)資源整合與應用各類數(shù)據(jù)資源的深度應用，隨著數(shù)據(jù)的日益增長存在嚴重的資源浪費。

三、建設意義

視頻圖像信息目前已成為支撐公安工作的重要基礎信息資源，由于大部分視頻監(jiān)控資源基本是視頻的非結構化狀態(tài)存儲和應用，從目前公安機關的偵查辦案手段方式看，需要大量的警力對海量的監(jiān)控視頻進行反復辨看、分析、研判，不但耗費大量警力，而且效率低，關聯(lián)應用和綜合應用效果差，無法開展更深層次的智能應用。如何從海量原始視頻中快速解析出易于檢索的活動目標相關數(shù)據(jù)，充分利用視頻圖像數(shù)據(jù)輔助實戰(zhàn)和深化視頻圖像應用，已成為推進視頻資源深度智能應用的核心問題。

視頻結構化技術作為視頻網(wǎng)+大數(shù)據(jù)的基礎應用，可對海量的圖像資源進行標準化處理，從視頻資源中提取有價值信息，通過數(shù)據(jù)清洗和快速調用，為視頻偵查與大數(shù)據(jù)聯(lián)合應用提供先進的技術支撐，有效提升視頻智能化應用的水平，提高警務工作效率。

四、技術趨勢

視頻是平安城市系統(tǒng)中最豐富的感知資源，城市中數(shù)以萬計的攝像頭每天采集的數(shù)據(jù)龐大、信息豐富，對社會治安防控以及城市運行管理具有很大價值。公安關注的核心是圖像中的人、車、物、事件等基礎情報信息，但圖像資源中包含大量冗余信息，通過人工查找回溯，不僅占用了大量人力和時間，而且因為個人能力的差異和時空交叉數(shù)據(jù)研判比對的復雜性，會導致對目標認知的偏差，更不用說結合多種時空交叉數(shù)據(jù)進行研判比對。因此，將視頻轉化為數(shù)據(jù)的關鍵途徑是視頻解析，通過深度學習和模式識別等AI技術，從圖像中自動檢測目標、提取特征并對內容進行結構化描述，實現(xiàn)對活動目標和異常事件的實時分析和線索追蹤，從而啟動預案和精準處置，讓監(jiān)控從事后被動回溯向事前主動防范轉變。建設能夠匹配公安各類應用場景的圖像大數(shù)據(jù)系統(tǒng)已經(jīng)成為科技強警戰(zhàn)略的重要組成部分。

目前，公安機關的主要圖像數(shù)據(jù)應用包括人臉識別、車輛識別、人體識別和動作行為識別等，這些系統(tǒng)以道路監(jiān)控、卡口電警、人臉卡口等前端設備獲取的視頻、圖片及結構化特征為基礎，實現(xiàn)以圖搜車、以圖搜人、全文檢索、相似性研判等綜合應用，幫助公安快速準確地偵破案件。采用AI技術的視頻解析方式分為前端解析和后端解析。前端解析產(chǎn)品是智能攝像機，比如人臉識別攝像機、結構化攝像機和交通攝像機，在采集視頻和圖片的同時，依靠內置的算力芯片和智能算法，對行人和車輛等活動目標進行跟蹤檢測、抓拍特寫照片并提取出的特征屬性，為后端的數(shù)據(jù)中心提供結構化的數(shù)據(jù)，可以減少后端分析所消耗的計算資源和網(wǎng)絡帶寬等系統(tǒng)成本。后端解析產(chǎn)品是智能NVR和智能服務器，智能NVR適合中小型項目使用，是在存儲錄像的同時，對接入的普通視頻監(jiān)控內容進行智能解析和信息提取，比如小型比對庫的人臉識別/車輛識別等。智能服務器是基于X86服務器和高性能GPU芯片以及深度學習算法，對人臉特征、車輛特征、機動車/非機動車/行人的全目標特征進行快速全量提取和精準識別比對，比如動態(tài)人臉的識別比對、卡口車輛圖片的二次解析和以圖搜車、行人的衣著體貌特征識別和以圖搜人等，后端解析的優(yōu)勢是算力強大可進行復雜計算，可利舊原有監(jiān)控視頻。

傳統(tǒng)的智能分析技術存在識別準確率低、場景適應性差、識別種類少等問題。得益于AI算法和芯片算力的快速發(fā)展，基于深度學習技術（通過大量數(shù)據(jù)訓練建立輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的映射，自動分析海量監(jiān)控視頻數(shù)據(jù)）就能快速準確地把視頻圖像里的內容和目標自動轉換成結構化數(shù)據(jù)，除了抓拍特寫照片外，還能提取出目標的屬性信息，比如：機動車屬性包括車牌號碼、車牌顏色、車身顏色、車輛類型、品牌年款以及駕駛室內的遮陽板、擺件、安全帶等信息，行人屬性包括步行、騎車、性別、年齡段、上身顏色、上身款式、下身顏色、背包拎包等信息，人臉屬性包括性別、年齡段、頭盔、墨鏡、口罩等信息。智能解析后的結構化數(shù)據(jù)和半結構化數(shù)據(jù)，通過數(shù)據(jù)治理和關聯(lián)分析，能夠為公安機關的各類應用提供情報線索和決策依據(jù)，比如對重點人員的人臉動態(tài)識別和條件檢索，即便屬性不全也可以基于目標特征進行以圖搜圖。

五、實戰(zhàn)需求

從實戰(zhàn)業(yè)務出發(fā)，公安機關需要持續(xù)開展提升視頻資源的利用效率和視頻深化應用方面的工作，針對視頻結構化應用的主要業(yè)務需求包括：

1.節(jié)約人力物力，提高案件線索查找效率

目前視頻應用普遍仍是較為傳統(tǒng)的人工查看，既耗時費力，又在案件偵破中難以掌握有效時機，如何從每天積累的海量視頻資源中快速地提取有價值數(shù)據(jù)，形成快速應用，需求非常迫切。而視頻結構化系統(tǒng)可極大提升對視頻中有效信息的快速挖掘檢索，解決人工辨看查找慢、警力資源耗費大的問題。

2.提升視頻圖像信息應用的規(guī)模和效能

隨著視頻監(jiān)控系統(tǒng)建設規(guī)模不斷擴大、使用領域不斷拓展，公安機關以及政府各職能部門希望深層次挖掘視頻圖像信息、結合不同業(yè)務實現(xiàn)智能化應用。綜合考慮資金投入和規(guī)模應用效能等多方面因素，會考慮匯總平安城市、交通電警平臺、人臉識別平臺全部視頻資源，利用視頻結構化算法開展實時結構化解析，解決多平臺應用的不便。

3.深化視頻結構化和大數(shù)據(jù)的融合應用

利用視頻結構化算法將視頻轉化為圖片和屬性特征，進行統(tǒng)一標準的數(shù)據(jù)清洗，實現(xiàn)云存儲和分布式管理，為基層單位開展實戰(zhàn)應用提供統(tǒng)一數(shù)據(jù)支撐。將圖像結構化數(shù)據(jù)與情報大數(shù)據(jù)融合起來，實現(xiàn)以人為核心的活動軌跡、作息習慣、社會關系的輔助研判，針對不同場景實現(xiàn)應用落地，最終形成全息感知、推理判斷、反應快速、自我學習的智慧城市大腦，不斷為各行業(yè)挖掘更多數(shù)據(jù)價值。

六、建設難點

從公安用戶角度出發(fā)，希望依托現(xiàn)有視頻數(shù)據(jù)資源（包含天網(wǎng)視頻點位、交警視頻點位、人臉視頻點位、車輛和人臉抓拍數(shù)據(jù)），建設統(tǒng)一的視頻結構化系統(tǒng)，實時分析視頻結構化性能達到千路以上規(guī)模，能基本覆蓋主要區(qū)域和重點位置，才能提升圖像偵查服務實戰(zhàn)能力，為事前預警、事中指揮、事后追溯提供有效信息支撐，此外，還要建立統(tǒng)一標準的視圖庫網(wǎng)關，將結構化解析后的車輛、人臉、人體等圖片數(shù)據(jù)匯聚共享給其他系統(tǒng)調用。在項目的具體設計方案中，也存在幾類突出問題需要解決。

1.選擇新建結構化攝像機還是利舊普通監(jiān)控相機。

一方面，隨著邊緣端的AI芯片算力提升和結構化算法的優(yōu)化，前端智能相機的處理性能已經(jīng)能夠分擔后端視頻解析中心的運算壓力，市面上的結構化相機開始覆蓋5MP/8MP分辨率、一體機/球機等不同檔次和不同形態(tài)的多種規(guī)格，可以為不同場景提供差異化的應用方案，這類產(chǎn)品不僅可以抓拍人臉、機動車、非機動車、人體等特寫圖片，還能提取車牌號、車輛顏色、帽子、墨鏡等主要屬性特征，對于增點擴面等公共區(qū)域的前端智能感知升級類的需求，通常會采用這種方案，可以針對不同場景的具體需求，選擇對應的結構化相機，比如步行道部署人臉抓拍機、主干路部署車輛抓拍機、廣場等機非混行場地部署結構化相機，通過不同規(guī)格種類的智能相機組合，可以達到最優(yōu)性價比。另一方面，近幾年建設的社區(qū)鄉(xiāng)村等社會視頻監(jiān)控資源大多是普通監(jiān)控相機，大部分還在正常使用的產(chǎn)品壽命之內，從投入成本效益等角度考慮，很難選擇廢棄后重新部署結構化相機；另外，從宏觀經(jīng)濟形勢看，由于受到疫情影響，全球經(jīng)濟減速，陷入嚴重衰退，政府也缺乏大量資金投入到城市基礎設施的建設項目中，因此，對現(xiàn)有普通監(jiān)控視頻進行利舊的后端結構化系統(tǒng)逐漸受到青睞。同時，也要充分認清后端結構化解析的具體效用。對于公安圖像偵查工作來說，人臉和車牌是直接獲取目標身份的主要手段，想要達到清晰的辨識效果，對于圖像的分辨率角度光照位置等條件有嚴格要求，但普通監(jiān)控視頻無法保證能達到相關要求，造成抓拍到的大部分目標圖片質量較差，看不清具體特征，只能獲得輪廓信息，難以直接發(fā)揮效用，只能作為快速檢索的輔助手段。此外，對普通監(jiān)控視頻進行利舊的后端結構化解析系統(tǒng)，需要接入海量的視頻，不但需要大量高性能的視頻結構化服務器計算資源，還需要考慮數(shù)據(jù)從社會資源網(wǎng)絡到天網(wǎng)監(jiān)控網(wǎng)絡，對網(wǎng)絡帶寬和邊界安全隔離都提出了較高要求。

2.視頻結構化系統(tǒng)建設大多由市局牽頭制定標準規(guī)范要求，通常情況下，市局建設結構化數(shù)據(jù)匯聚和應用平臺，各區(qū)縣分局根據(jù)自己的具體情況籌措資金分頭建設視頻結構化系統(tǒng)開展特色應用。由于市局和分局的結構化系統(tǒng)包括的結構化數(shù)據(jù)類型較多，結構化系統(tǒng)可能涉及多個廠家建設，需要對市局和分局的結構化系統(tǒng)的業(yè)務邏輯關系進行規(guī)范，包括數(shù)據(jù)、圖片和視頻的傳輸接口。比如：

（1）由于市局結構化系統(tǒng)不存儲視頻和圖片，只是作為跨區(qū)結構化任務下發(fā)和統(tǒng)一查詢平臺，需要明確如何解決對查詢結果所關聯(lián)的視頻片段的調用問題。因為，視頻片段通常不會存儲在結構化系統(tǒng)中，而是在視頻聯(lián)網(wǎng)監(jiān)控系統(tǒng)的存儲節(jié)點通過時間標簽進行索引，通過市局結構化系統(tǒng)客戶端進行查詢時關聯(lián)的視頻片段需要明確獲取方式。

（2）由于市局結構化系統(tǒng)會開放給各分局民警使用，需要考慮以圖搜圖的多任務資源調配問題，如果同時有多用戶對同一分局結構化系統(tǒng)下發(fā)以圖搜圖任務，會和該分局本地結構化以圖搜圖任務發(fā)生算力調用沖突，需要有排隊機制策略或者任務執(zhí)行的反饋信息。

七、應用前景

系統(tǒng)投入正式使用后，可對重點挑選的視頻資源進行實時結構化，同時結合日常工作重點和實戰(zhàn)需要逐步劃分結構化資源，合理分配、統(tǒng)一調用、嚴格監(jiān)控資源利用，完善資源共享機制，開放部分結構化算力資源給相關實戰(zhàn)單位進行探索應用，達到最優(yōu)的動態(tài)資源分配，及時高效地保障實戰(zhàn)單位應用，避免因不使用或不熟悉使用造成資源浪費。后期實時結構化資源可按照實際情況將轄區(qū)內的重點部位和隨110警情數(shù)據(jù)研判每時間階段案件頻發(fā)情況和交通主要道路，規(guī)劃實時結構化任務。從實戰(zhàn)中發(fā)現(xiàn)問題、總結問題，不斷優(yōu)化分局對結構化資源的合理利用。

在數(shù)據(jù)應用上，為更好地拓展應用效果，可以考慮建立特色化的存儲功能，例如對于重點部位的實時結構化存儲庫、針對重點案件的實時存儲庫等，這些數(shù)據(jù)當上級機關或本地需要調用時，可及時通過特定標簽進行調用和推送。比如：某鎮(zhèn)街派出所發(fā)生案件，其他地區(qū)也有類似案件發(fā)生時，各單位均會在第一時間開展偵查工作，并利用視頻結構化進行視頻分析時，在案件滿足形成串并條件時，可將各單位結構化數(shù)據(jù)庫進行調用匯總，實現(xiàn)統(tǒng)一查詢、檢索，構建完整的線索鏈條，這種方式既節(jié)省結構化資源，又提升數(shù)據(jù)調取速度，但前提是需要統(tǒng)一的標準規(guī)范，以實現(xiàn)大數(shù)據(jù)共享時的穩(wěn)定應用，關鍵是為區(qū)縣的結構化數(shù)據(jù)進行完整標簽規(guī)范，才能最大限度應用視頻結構化數(shù)據(jù)清洗的功能，為圖像大數(shù)據(jù)打好數(shù)據(jù)基礎。