步態(tài)識別是目前全球前沿的生物特征識別技術(shù)，是生物特征識別技術(shù)分支之一。步態(tài)識別主要是通過人的身高、腿骨、肌肉、關(guān)節(jié)等身體體型特征和行走姿態(tài)來分析、識別人員身份的技術(shù)，與指紋、人臉、虹膜等其它生物識別技術(shù)相比，步態(tài)識別具有遠(yuǎn)距離、非接觸、抗偽裝、跨著裝、跨視角、對光線不敏感等顯著優(yōu)勢，是非常適合在視頻監(jiān)控中應(yīng)用的生物特征識別方法之一。

一、概述

回首步態(tài)識別技術(shù)二十多年的發(fā)展歷程，隨著機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的應(yīng)用和研究人員的不斷攻關(guān)克難，許多經(jīng)典的步態(tài)識別算法如雨后春筍般被相繼提出，步態(tài)識別領(lǐng)域涌現(xiàn)出許多優(yōu)秀的研究成果，成功挑戰(zhàn)了各種難點(diǎn)，在實(shí)際應(yīng)用過程中發(fā)揮了巨大的作用。尤其是近五年，步態(tài)識別研究從非深度學(xué)習(xí)轉(zhuǎn)向基于深度學(xué)習(xí)后，許多基于深度學(xué)習(xí)的步態(tài)識別算法更加完美地解決了各種疑難問題?；谏疃葘W(xué)習(xí)的步態(tài)識別方法通過自動學(xué)習(xí)辨別表示的能力，重塑了這一領(lǐng)域的研究格局。

步態(tài)識別技術(shù)雖然相比其他生物識別技術(shù)具有典型優(yōu)勢，但在算法模型訓(xùn)練和實(shí)際應(yīng)用過程中也存在很多挑戰(zhàn)。步態(tài)識別算法是利用圖像和視頻序列來建立人員模型，達(dá)到提取目標(biāo)人物步態(tài)輪廓特征的目的，算法指標(biāo)會因個(gè)人外觀，比如人員攜帶背包、手提物品、戴帽子、穿厚衣服或長裙等，人員身體被部分遮擋，攝像機(jī)視角發(fā)生變化及以復(fù)雜的背景、光線等而產(chǎn)生影響，這通常讓步態(tài)輪廓分割和人員識別更加困難。

步態(tài)識別系統(tǒng)一般由特征提取、特征表示和分類等模型組成基本框架。首先通過目標(biāo)檢測算法和分割算法計(jì)算出目標(biāo)樣本的輪廓序列，再對輪廓序列進(jìn)行特征計(jì)算和提取，然后利用提取到的特征進(jìn)行特征表示，最后依據(jù)特征表示來判斷人的身份。根據(jù)特征提取和特征表示的方法，可以將步態(tài)識別方法分為基于表觀的方法和基于建立人體模型的方法，基于表觀的方法又分為基于特征模板的方法和基于序列的方法。

二、基于表觀的步態(tài)識別方法

基于表觀的步態(tài)識別方法通過學(xué)習(xí)行人的外形特征來匹配識別行人身份，通常使用人體輪廓作為原始輸入數(shù)據(jù)。輪廓是步態(tài)識別技術(shù)中最常用的身體表示，可非常有效地描述身體狀態(tài)，將畫面背景中每個(gè)包含身體主體的圖像減去，再進(jìn)行二進(jìn)制化即可，可以比較容易被計(jì)算出來。一系列的步態(tài)輪廓可以表示人員行走時(shí)的速度、步長、腿部角度、節(jié)奏、步態(tài)周期時(shí)間以及身體搖擺狀態(tài)等步態(tài)特征，通過光流計(jì)算還可以提取出人員行走時(shí)的運(yùn)動數(shù)據(jù)。同時(shí)，行人個(gè)體外觀的變化對步態(tài)輪廓的影響極為敏感，比如行人攜帶行李或者服裝的變化，這也是基于表觀的步態(tài)識別方法研究人員主要的研究任務(wù)和挑戰(zhàn)。

基于表觀的步態(tài)識別方法又可以進(jìn)一步分為基于特征模板和基于序列的步態(tài)識別方法。

1. 基于特征模板的步態(tài)識別方法

基于特征模板的步態(tài)識別方法通常分為模板的生成和匹配兩部分

模板生成首先通過背景減除法來估計(jì)每一幀圖像中的人體輪廓，再采用“像素級”操作方法對齊輪廓，然后壓縮融合生成一個(gè)步態(tài)模板圖像。步態(tài)能量圖像（Gait Energy Image，GEI）是最流行的特征模板之一，不僅簡單而且非常穩(wěn)定有效，不但計(jì)算成本非常低還能達(dá)到相對較高的識別率。

模板匹配通常使用規(guī)范相關(guān)分析（CCA）、線性判別分析（LDA）等機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法來實(shí)現(xiàn)。首先從模板圖像中提取行人步態(tài)表示，再使用歐式距離或其他度量學(xué)習(xí)方法來測量表示對之間的相似性，例如視圖轉(zhuǎn)換模型（VTM）；然后利用視圖不變判別投影（ViDP），以學(xué)習(xí)視圖不變表示方式；最后使用向量機(jī)（SVM）或最近鄰標(biāo)簽、最近鄰分類器等識別步態(tài)特征。根據(jù)技術(shù)的演進(jìn)，下面介紹幾種基于深度學(xué)習(xí)的典型步態(tài)模板特征方法。

DeepCNN 提出基于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）框架學(xué)習(xí)成對的 GEI 之間的相似度，從而實(shí)現(xiàn)了跨視角步態(tài)識別，取得了相當(dāng)不錯的識別準(zhǔn)確率。

該方法最早采用 CNN，且創(chuàng)新性地將步態(tài)特征之間的距離度量通過一個(gè)網(wǎng)絡(luò)學(xué)習(xí)的形式進(jìn)行更新，在相當(dāng)長的時(shí)間內(nèi)一直是步態(tài)識別領(lǐng)域內(nèi)準(zhǔn)確率最高的方法。針對不同的步態(tài)場景，該方法提出了三種不同結(jié)構(gòu)的模型，分別從全局層、中間層、底層進(jìn)行成對步態(tài)特征的融合。其中由于全局層融合的方式可預(yù)先存儲已注冊的步態(tài)特征，因此更加貼合實(shí)際應(yīng)用過程中的實(shí)時(shí)檢索需求。

GEI-Net 采用步態(tài)能量圖 GEI 直接訓(xùn)練一個(gè) CNN 分類器，并在最后一層提取步態(tài)特征。其結(jié)構(gòu)簡單較易實(shí)現(xiàn)，易于遷移至其他數(shù)據(jù)集，該方法超過了非深度學(xué)習(xí)方法的步態(tài)識別性能，是比較受研究者歡迎的基準(zhǔn)框架（Baseline model）。該方法測試時(shí)僅需提取測試圖像的特征，然后直接與注冊庫的特征批量化比較相似度，測試時(shí)僅需前向傳播一次，具有較高的識別速度。

GaitNet 由兩個(gè) CNN 組成，分別對應(yīng)于步態(tài)分割和分類，兩個(gè) CNN 同時(shí)在一個(gè)聯(lián)合學(xué)習(xí)過程中建模，使得分割的步態(tài)輪廓圖像更適合于識別，且性能比單獨(dú)學(xué)習(xí)更好。通過對原始步態(tài)視頻序列進(jìn)行分割得到步態(tài)輪廓圖，然后將步態(tài)輪廓圖融合成步態(tài)模板，再從步態(tài)模板中學(xué)習(xí)步態(tài)特征，實(shí)現(xiàn)分割和識別一體化設(shè)計(jì)，該策略極大地簡化了傳統(tǒng)的逐步框架，因此對實(shí)際應(yīng)用更為有效。

為了適應(yīng)不同的視圖條件，基于生成對抗網(wǎng)絡(luò)的方法和自編碼器的方法通過生成 - 對抗（或解碼 - 編碼）的方式從任意的角度轉(zhuǎn)換為一個(gè)特定的視圖，比如堆疊式漸進(jìn)自動編碼器（Stacked Progressive Auto - Encoders，SPAE）。此編碼器前兩層重構(gòu)出不受服飾與攜帶物品影響的 GEI，之后的各層編碼器都負(fù)責(zé)克服一個(gè)相對小的視角變化，通過這樣堆疊式的編碼器方式實(shí)現(xiàn)跨視角的調(diào)整。同時(shí)，還有學(xué)者提出一種步態(tài)生成對抗網(wǎng)絡(luò)（Gait Generative Adversarial Net，GaitGAN）方法以克服協(xié)變量的干擾，以 GAN 模型作為回歸器，生成不變且具有正常服裝和不攜帶行李的側(cè)視圖像。這種方法的一個(gè)獨(dú)特優(yōu)點(diǎn)是，在生成不變的步態(tài)圖像之前，不需要視角和其他變化。GaitGAN 將源圖像轉(zhuǎn)換為目標(biāo)圖像的轉(zhuǎn)換器的結(jié)構(gòu)圖如圖 2 所示。

GEI-GAN 是利用深度學(xué)習(xí)算法增強(qiáng)步態(tài)能量圖的算法，用一個(gè)生成對抗網(wǎng)絡(luò)（GAN）來解決步態(tài)周期不完整的步態(tài)識別問題。GEI-GAN 包括生成器、真實(shí) / 假識別器的輸入和接受兩個(gè)輸入的身份識別器，可以將一個(gè)不完整的 GEI 轉(zhuǎn)換為一個(gè)完整的 GEI。此架構(gòu)成功地從極端不完全的步態(tài)周期中重建了完整的步態(tài)能量圖，解決了行人遮擋等問題，其網(wǎng)絡(luò)結(jié)構(gòu)如圖 3 所示。

這些方法基于步態(tài)模板可以在一定程度上處理視野、衣服和搬運(yùn)條件，但是步態(tài)模板在融合過程會導(dǎo)致一些時(shí)間信息丟失，仍然存在許多不足之處。

2. 基于序列的步態(tài)識別方法

基于序列的步態(tài)識別方法是直接從步態(tài)剪影序列中提取步態(tài)特征的方法，彌補(bǔ)了基于特征模板的步態(tài)識別方法丟失行人時(shí)間信息的缺陷，可以更加完整的保留行人特征信息?；谛蛄械牟綉B(tài)識別方法直接采用一系列行人輪廓作為輸入，學(xué)習(xí)步態(tài)的時(shí)序信息，在跨視角識別任務(wù)中表現(xiàn)出了優(yōu)異的性能。

基于3D-CNN 的方法用于行人動作識別，利 用三維卷積提取時(shí)空信息，在此基礎(chǔ)上基于3D-CNNs 的多角度步態(tài)識別的方法，在面對跨視角的環(huán)境性能表現(xiàn)很好。基于位置的時(shí)空網(wǎng)絡(luò)（PTSN）在解決識別行人穿著和攜帶背包等變化對提取人體輪廓的影響取得了不錯的成績。

最近，研究人員認(rèn)為步態(tài)不是一個(gè)連續(xù)的輪廓，而是一個(gè)由獨(dú)立輪廓組成的集合，采用一個(gè)名為GaitSet 的新網(wǎng)絡(luò)從該集合中提取不變特征，這些方法可以在橫視圖條件下獲得很高的精度。同時(shí)為了捕獲每個(gè)部分的時(shí)空特征，設(shè)計(jì)了一種基于部分的模型（GaitPart）方 法。而 Gait Lateral Network 則是為了防止基于部分的模型中冗余特征而設(shè)計(jì)，它采用了兩階段的訓(xùn)練策略來有效地學(xué)習(xí)緊湊的特征。

以上這些基于序列的步態(tài)識別方法在性能方面完勝之前基于特征模板的步態(tài)識別方法。以下幾種是基于深度學(xué)習(xí)的步態(tài)序列特征識別方法的典型代表。

GaitSet 不再使用步態(tài)能量圖 GEI，而是將步態(tài)剪影序列看作一個(gè)圖像集并從中直接學(xué)習(xí)步態(tài)表達(dá)。這種方法的優(yōu)勢在于可以將整個(gè)步態(tài)序列的每一張圖像都作為訓(xùn)練樣本，可以充分利用 CNN 的強(qiáng)大學(xué)習(xí)能力。同時(shí)，該方法可以通過遍歷整個(gè)步態(tài)序列學(xué)習(xí)不同步態(tài)圖像之間的差異，避免了生成GEI 方法中通常會損失部分信息的局限。此方法在多個(gè)公開的跨視角步態(tài)數(shù)據(jù)集上取得了優(yōu)異的性能，也證明了通過小片段序列學(xué)習(xí)步態(tài)特征的可行性。

GaitPart 假設(shè)人體的每個(gè)部分都需要自己的時(shí)空表達(dá)，針對這一假設(shè)提出了一個(gè)新的見解，即由于人體在行走時(shí)具有不同的視覺外觀和運(yùn)動模式，人體的每個(gè)部分都需要自己的時(shí)空模式。GaitPart 輸入的是有序的序列，經(jīng)過“幀級”部分特征提取器（FPFE）提取了部分級空間特征的細(xì)粒度學(xué)習(xí)，同時(shí)設(shè)計(jì)了微小運(yùn)動捕獲模塊（MCM），將多個(gè)平行的 MCM 組成為時(shí)間特征聚合器，聚合了時(shí)間特征。MCM 是一種新的步態(tài)任務(wù)時(shí)間建模方法，它關(guān)注短程時(shí)間特征，而不是周期步態(tài)的冗余長程特征。這種方法具有結(jié)構(gòu)簡單、性能優(yōu)異、速度快、易于實(shí)際應(yīng)用等優(yōu)點(diǎn)。

Gait Lateral Network 提出利用深度卷積神經(jīng)網(wǎng)絡(luò)中固有的特征金字塔來增強(qiáng)步態(tài)表示，解決從輪廓中學(xué)習(xí)諸如服裝、攜帶物和相機(jī)視角的挑戰(zhàn)。通過由不同階段提取的幀級和集合級特征以自上而下的方式與橫向連接合并，從而增加步態(tài)表示。同時(shí)為了達(dá)到描述步態(tài)特征數(shù)據(jù)足夠少、能夠?qū)崿F(xiàn)大量存儲、高效識別的目的，GLN 設(shè)計(jì)了一個(gè)壓縮模塊，顯著減少了步態(tài)表示的尺寸，而不妨礙準(zhǔn)確性。其模型結(jié)構(gòu)如圖 4 所示。

MT3D利用框架和區(qū)間融合信息集成了多個(gè)時(shí)間信息。同時(shí)通過局部轉(zhuǎn)換模塊實(shí)現(xiàn)了區(qū)間級表示。具體地說，將三維卷積神經(jīng)網(wǎng)絡(luò)（三維 CNN）應(yīng)用于小時(shí)間尺度和大時(shí)間尺度來提取時(shí)空信息。另外 MT3D 還采用一種幀池化方法來解決三維網(wǎng)絡(luò)與視頻幀輸入不匹配的方法，并設(shè)計(jì)了一種新型的三維基本網(wǎng)絡(luò)塊來提高效率。

基于模板的方法可能會丟失時(shí)間信息，而基于序列的方法則不能充分利用序列之間的時(shí)間關(guān)系。同時(shí)，MT3D 這種新的多時(shí)間尺度步態(tài)識別框架彌補(bǔ)了兩者之間的劣勢，很好地解決了上述問題。

三、基于模型的步態(tài)識別方法

基于人體模型的步態(tài)識別方法是在于建立一個(gè) 2D 或 3D 的人體結(jié)構(gòu)和運(yùn)動模型，通過將圖像動作特征映射到模型的結(jié)構(gòu)成分上，用結(jié)構(gòu)模型來捕獲步態(tài)的靜態(tài)信息，用運(yùn)動模型來捕獲步態(tài)的動態(tài)信息，以此來進(jìn)行行人身份識別。與基于表觀的方法相比，在人體建模精度上基于模型的方法對于解決遮擋和跨視角等問題表現(xiàn)更加突出，對很多變化都具有魯棒性。

最初，基于模型的方法雖然被證明有能力識別不同類型的步態(tài)，但是不如基于表觀的方法流行，主要是因?yàn)榛谀Ｐ偷姆椒ú捎檬謩訕?biāo)記人體不同的身體部位，或者使用一些特定的設(shè)備來捕獲人體的關(guān)節(jié)位置，效果不佳；同時(shí)從圖像中進(jìn)行身體建模需要花費(fèi)高昂的計(jì)算成本。

早期研究人員通過一個(gè)簡單的棒模型來模擬腿，再使用鉸接的鐘擺運(yùn)動來模擬行走過程中腿的運(yùn)動，最后通過提取頻率成分作為步態(tài)特征進(jìn)行行人識別。后來研究人員發(fā)現(xiàn)行人每個(gè)關(guān)節(jié)在時(shí)域中的角度變化可以提高步態(tài)識別的準(zhǔn)確率，設(shè)計(jì)出了一個(gè)多連接剛體模型，剛體由 14 個(gè)部分組成，每個(gè)部分通過一個(gè)接頭連接。為了從身體關(guān)節(jié)中提取時(shí)間特征，采用從 RGB圖像中提取的人體關(guān)節(jié)熱圖（Heatmap），而不是使用二進(jìn)制剪影來描述人體姿勢，熱圖通過一個(gè)長短期記憶遞歸神經(jīng)網(wǎng)絡(luò)提取時(shí)間特征。與基于表觀的方法相比，基于模型方法主要依賴位姿信息進(jìn)行識別，大多數(shù)情況下對視角變化和外觀變化更具魯棒性。

后來，研究人員開始利用人體骨骼和身體關(guān)節(jié)來識別不同的人。為了降低成本，采用低成本傳感器采集骨架數(shù)據(jù)，而不是特定設(shè)備。經(jīng)過實(shí)驗(yàn)證明，通過傳感器采集到的身體關(guān)節(jié)數(shù)據(jù)包含了足夠多的人體識別數(shù)據(jù)效果明顯。但是此方法不適合在視頻監(jiān)控場景下應(yīng)用，原因是視頻監(jiān)控?cái)z像機(jī)大多數(shù)是RGB 而非傳感器?；?3D 骨架的步態(tài)數(shù)據(jù)集包含骨骼關(guān)節(jié)的 3D 信息和相應(yīng)的 2D 輪廓圖像，用此數(shù)據(jù)集構(gòu)建的步態(tài)模型提取到的人體靜態(tài)和動態(tài)特征，通過驗(yàn)證提取到的靜態(tài)特征和動態(tài)特征對于步態(tài)識別具有視圖不變性，通過最近鄰分類法對靜態(tài)和動態(tài)特征進(jìn)行匹配融合，完成步態(tài)識別過程。

近年來，步態(tài)識別主要是基于深度學(xué)習(xí)的方法，使用深度自編碼器網(wǎng)絡(luò)學(xué)習(xí)了從二維圖像到三維姿勢的非線性映射，人體姿態(tài)估計(jì)工作取得了重大進(jìn)展。使用深度 CNN 的自下而上的姿態(tài)估計(jì)方法可以創(chuàng)建準(zhǔn)確的人體模型，該方法可以處理一個(gè)圖像中的多個(gè)人并且可以預(yù)測向量場，稱為部分親和力場（PAFs），直接估計(jì)圖像中解剖部分之間的關(guān)聯(lián)。從圖像中提取的二維姿勢并不是視角不變的，但三維姿勢是視角不變，即不受視角變化的影響。從一張圖像中估計(jì)一個(gè)三維姿態(tài)雖然不太嚴(yán)謹(jǐn)，但由于對人體的限制，基于單一 RGB 圖像的三維人體姿態(tài)估計(jì)方法優(yōu)于許多最先進(jìn)的三維姿態(tài)估計(jì)系統(tǒng)，它也不需要多個(gè)攝像頭，適用于視頻監(jiān)控場景下的應(yīng)用。

下面將介紹幾種典型的基于深度學(xué)習(xí)算法的步態(tài)識別方法。

PoseGait 利用卷積神經(jīng)網(wǎng)絡(luò)從圖像中估計(jì)行人三維姿態(tài)，為了提高特征提取的效率，PoseGait設(shè)計(jì)了一些基于先驗(yàn)知識的手工特征，將姿態(tài)、關(guān)節(jié)角度、肢體長度、關(guān)節(jié)動作四種特性連接在一起，在訓(xùn)練階段結(jié)合兩種損失來減少類內(nèi)變化和改善類間變化。該方法使用 3D 人體姿態(tài)作為特征，具有很好的緊湊性，只存在于關(guān)節(jié)之中，將三種基于先驗(yàn)知識的時(shí)空特征和人體姿態(tài)特征相結(jié)合，豐富了特征，提高了識別率。通過實(shí)驗(yàn)驗(yàn)證，該方法的性能媲美一些最新的基于表觀的方法。

JointGait 利用二維關(guān)節(jié)識別步態(tài)，提出了一種基于模型的步態(tài)識別方法，從 2D 人體關(guān)節(jié)中提取步態(tài)信息，而不是人體形狀和步態(tài)外觀，該方法以卷積網(wǎng)絡(luò)估計(jì)人體關(guān)節(jié)為輸入，再構(gòu)造圖卷積網(wǎng)絡(luò)提取時(shí)空步態(tài)特征，然后使用關(guān)節(jié)關(guān)系金字塔映射（JRPM）將時(shí)空步態(tài)特征映射到一個(gè)更具鑒別力的空間，最終在融合損失策略下更好地處理變化。在 KinectGait 生物測量數(shù)據(jù)集數(shù)據(jù)庫上，JointsGait 只使用相應(yīng)的二維數(shù)據(jù)，但與那些基于模型的三維關(guān)節(jié)算法相比，取得了較滿意的識別精度。在 CASIA-B 數(shù)據(jù)庫上，該方法在所有行走條件下都大大優(yōu)于先進(jìn)的基于模型的方法，當(dāng)服裝嚴(yán)重影響人體外觀時(shí)，甚至性能優(yōu)于最先進(jìn)的基于表觀的方法。

最近，一種基于端到端模型的步態(tài)識別方法被提出，該方法具有更加先進(jìn)的性能。具體地說，該方法使用一個(gè)被剝皮的多人線性（SMPL）模型來進(jìn)行人體的建模，并使用一個(gè)預(yù)先訓(xùn)練好的人的網(wǎng)格恢復(fù)（HMR）網(wǎng)絡(luò)來估計(jì)其參數(shù)。由于預(yù)訓(xùn)練的HMR 不是面向識別的，而是在端到端步態(tài)識別框架中對其進(jìn)行微調(diào)。為了應(yīng)對步態(tài)數(shù)據(jù)集與用于預(yù)訓(xùn)練 HMR 的數(shù)據(jù)集之間的差異，該方法引入了步態(tài)數(shù)據(jù)集中的剪影掩模與由可微渲染器生成的估計(jì)SMPL 模型中的渲染剪影之間的重建損失。這使該方法能夠讓 HMR 適應(yīng)步態(tài)數(shù)據(jù)集，而不需要監(jiān)督使用地面真相關(guān)節(jié)位置。OU-MVLP 和 CASIA-B數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明了該方法在步態(tài)識別和驗(yàn)證場景中的更加先進(jìn)的性能，這是基于端到端模型的框架產(chǎn)生的明確解糾纏姿態(tài)和形狀特征的直接結(jié)果。

四、總結(jié)與展望

基于建立人體模型的方法相當(dāng)于建模人體的底層結(jié)構(gòu)，基于表觀的方法直接從視頻中提取步態(tài)表示，而沒有明確地考慮底層結(jié)構(gòu)?；诮⑷梭w模型的方法在許多情況下，很難從在不受控制的條件下拍攝的視頻中精確地恢復(fù)身體結(jié)構(gòu)。相比之下，目前基于表觀的方法是更適合大規(guī)模實(shí)際應(yīng)用的技術(shù)，同時(shí)隨著深度學(xué)習(xí)和人體建模方法的不斷進(jìn)步，基于模型的步態(tài)識別方法也將會大放異彩。

■ 文 / 張松

銀河水滴科技（北京）有限公司