基于迭代剪枝VGGNet的火星圖像分類

火星是21世紀(jì)深空探測的主要目標(biāo)。為了進一步探索火星，人類相繼發(fā)射Spirit、Opportunity和好奇號著陸火星表面。這些火星車均攜帶了全景相機。Spirit在運行的6年時間里，分析了Gusev Crater底部的玄武巖、火山巖和火山碎屑巖［1］。Opportunity在運行期間穿越40余公里，探索了火山口中的沉積巖［2］和粗玄武巖［3］。尋找古代沉積巖，已成為火星車的重點工作。這是因為古代沉積巖是液態(tài)水存在的證據(jù)，也是尋找外星生命的線索［4］。研究巖石還將為地形的物理性質(zhì)提供語義描述，有助于火星車避障［5］?；鹦黔h(huán)繞器需要作為中繼通信衛(wèi)星，為火星車建立穩(wěn)定的中繼通信鏈路，才能傳回火星巖石圖像供科學(xué)研究分析［6］。這就要求火星車對拍攝的火星圖像具有較強的分類能力，傳回重要的火星圖像，以節(jié)約火星車的能量。因此，提高火星圖像的分類能力具有重要的實用價值和必要性。

近年來，鑒于深度學(xué)習(xí)算法在圖像分類任務(wù)上的優(yōu)良性能以及有用特征的推斷能力，使得它們在火星探測任務(wù)中具有廣泛的應(yīng)用前景。Anirudh提出了一種深度學(xué)習(xí)算法MRSCAtt，該算法聯(lián)合使用空間和通道注意機制來彌補火星圖像在色調(diào)、質(zhì)量、照明和清晰度方面與地球圖像之間的差異，從而進行精確的圖像分類［7］。Li利用VGG-16和遷移學(xué)習(xí)進行火星圖像分類，在MSL Analyst火星巖石圖像庫上取得了較好的分類效果［5］。Shang提出基于模糊粗糙特征選擇與支持向量機結(jié)合的圖像分類器，用于解決類別多、數(shù)量大等問題［8］。Wagstaff為幫助科學(xué)家找到感興趣圖像，開發(fā)了基于內(nèi)容搜索的圖像分類器［9］。Lu在美國國家航空航天局的行星數(shù)據(jù)系統(tǒng)圖像制圖節(jié)點中部署了多種經(jīng)典分類器［10］。柳思聰研制了“天問一號”著陸區(qū)域的高分辨率三維地形圖，并通過深度卷積神經(jīng)網(wǎng)絡(luò)對著陸區(qū)地形地貌進行了分類［11］。

雖然這些深度學(xué)習(xí)圖像分類算法應(yīng)用于真實火星圖像時可以取得較好效果［12］，但是無法部署到火星車上。這是由于受到兩個限制：卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜結(jié)構(gòu)和內(nèi)存容量?；鹦擒嚨挠布Y源寶貴，圖像分類任務(wù)不能占用所有計算資源。

為了解決這個問題，本文利用迭代裁剪方式，對VGGNet［13］進行模型壓縮。在保持VGGNet高分類準(zhǔn)確率的基礎(chǔ)上，減小VGGNet占用的內(nèi)存資源和計算資源。需要注意的是，需根據(jù)剪枝后的權(quán)重參數(shù)重新訓(xùn)練VGGNet。對于裁剪較敏感的層，使用小的裁剪力度或者不裁剪。采用迭代裁剪方式對模型進行壓縮有助于減少圖像分類器的內(nèi)存占用量。該方法具體如下；首先，采用遷移學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)的連通性，以便評估神經(jīng)元的重要性；其次，通過迭代剪枝方法修剪不重要的神經(jīng)元，以便將全連接層的參數(shù)量和內(nèi)存占用量減少；最后，采用K-means++聚類實現(xiàn)權(quán)重參數(shù)的量化，利用霍夫曼編碼壓縮迭代剪枝與量化后的VGGNet權(quán)重參數(shù)，達到減少存儲量和浮點數(shù)運算量的作用。此外，本文通過5種數(shù)據(jù)增強方法進行數(shù)據(jù)擴充，目的是解決類別不平衡的問題。為了驗證壓縮后的模型有效性，將其與輕量級ShuffleNet［14］、MobileNet［15］和EfficientNet［16］模型進行了比較。實驗結(jié)果表明，所提模型具有更好的性能。

2 數(shù)據(jù)集及數(shù)據(jù)處理

2.1　數(shù)據(jù)集

Mars32K數(shù)據(jù)集為好奇號火星車MAHLI相機在2012年8月至2018年11月期間采集的圖像。該數(shù)據(jù)集給出了火星的地理和地質(zhì)特征，如山脈、山谷、隕石坑、沙丘和巖石地形。本文對Mars32K火星表面數(shù)據(jù)集進行類別劃分，表1給出了巖石類別和對應(yīng)標(biāo)簽，圖1給出了7種火星圖像示例。玄武巖高度氧化，呈弱堿性，通常二氧化硅不飽和［17-18］。層狀沉積巖是一種巖石露頭，顯示出層狀特征［19］，其分層稱為“交叉層理”，表明砂巖是由風(fēng)沉積而成的遷移沙丘［20］。細(xì)粒巖是火星地表暴露最多的礫石，其質(zhì)地呈斑狀或隱晶質(zhì)，有時呈水泡狀［21］。礫巖在不同深度的分離結(jié)晶含水量不同，產(chǎn)生了粗面巖、粗面玄武巖、夏威夷巖以及堆積的輝石巖、沙丘巖。粗玄武巖的來源尚未明確，可能是從隕石坑壁脫落或火山噴射物［22］。機車和沙顧名思義，不再贅述。

表1  圖像類別及其標(biāo)簽

Tab.1  Image categories and their labels

類別描述 標(biāo)簽

玄武巖 G1

礫巖 G2

機車 G3

細(xì)粒巖 G4

層狀沉積巖 G5

沙 G6

粗玄武巖 G7

下載: 導(dǎo)出CSV

圖1  7種圖像類別示例

Fig.1  Seven examples of image categories

下載: 原圖 | 高精圖 | 低精圖

2.2　數(shù)據(jù)增強

數(shù)據(jù)增強是一種使有限的數(shù)據(jù)產(chǎn)生更多的等價數(shù)據(jù)來人工擴展訓(xùn)練數(shù)據(jù)集的技術(shù)［23］。一般來說，卷積神經(jīng)網(wǎng)絡(luò)（CNN）的準(zhǔn)確率隨著訓(xùn)練圖像的數(shù)量增多而增加。當(dāng)難以獲得足夠的訓(xùn)練圖像時，數(shù)據(jù)增強成為擴展數(shù)據(jù)庫的有效手段，可以有效提高CNN的分類精度［24］。數(shù)據(jù)增強最主要的目的是提高訓(xùn)練數(shù)據(jù)的多樣性，從而幫助模型更好地泛化到看不見的測試數(shù)據(jù)，并且可以很好地解決由于樣本不足而出現(xiàn)的過度擬合問題。通過數(shù)據(jù)增強方法可以很好地對未來我國的火星車所采集的巖石數(shù)據(jù)進行泛化，無需參數(shù)調(diào)整就可直接遷移使用。常用的數(shù)據(jù)增強方法可分為空間幾何變換、像素顏色變換和多樣本合成幾種方法。本文使用的圖像增強技術(shù)有：翻轉(zhuǎn)、模糊、裁剪、旋轉(zhuǎn)、平移和加入噪聲。本實驗中數(shù)據(jù)增強前后數(shù)據(jù)對比如圖2所示。

圖2  數(shù)據(jù)增強前后的類別數(shù)量對比

Fig.2  Comparison of the number of categories before and after data enhancement

下載: 原圖 | 高精圖 | 低精圖

3 模型壓縮

傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)模型計算量大且內(nèi)存密集。然而，火星車探測車的系統(tǒng)內(nèi)存資源有限，分類任務(wù)不能占據(jù)系統(tǒng)的全部資源。大計算量阻礙了深度神經(jīng)網(wǎng)絡(luò)模型在內(nèi)存資源低的設(shè)備或具有嚴(yán)格延遲要求的應(yīng)用程序中的部署。在不降低精度的前提下，壓縮和加速深度網(wǎng)絡(luò)模型，完成火星圖像分類是必然的途徑。

目前，通常意義上的模型壓縮，主流思路有兩個方向。一個是設(shè)計更輕巧的網(wǎng)絡(luò)模型，如ShuffleNet、MobileNet和EfficientNet等。這些輕量級網(wǎng)絡(luò)模型，可以根據(jù)實際精度要求，不斷調(diào)試優(yōu)化。另外一種思路是通過模型壓縮方法改變網(wǎng)絡(luò)模型結(jié)構(gòu)，減小模型的內(nèi)存占用量和計算復(fù)雜度。表2給出了4種模型壓縮及其簡要描述。模型壓縮的思路是針對ResNet［25］、DenseNet［26］、VGGNet等網(wǎng)絡(luò)模型中存在大量冗余節(jié)點，節(jié)點權(quán)重占用大量內(nèi)存的問題，通過剪除冗余節(jié)點以達到優(yōu)化的目的。

表2  模型壓縮方法與簡要介紹

Tab.2  Model compression method and brief introduction

方法 簡要介紹

知識蒸餾 通過采用預(yù)先訓(xùn)練好的復(fù)雜模型（Teacher model）的輸出作為監(jiān)督信號去訓(xùn)練另外一個簡單的網(wǎng)絡(luò)（Student model），可以在卷積層和全連接層操作，僅支持從頭開始訓(xùn)練。

低秩分解 使用矩陣/張量分解來估計信息參數(shù)。支持卷積層和全連接層操作，僅支持從頭開始訓(xùn)練。

轉(zhuǎn)移/緊湊卷積核 設(shè)計特殊的結(jié)構(gòu)卷積核來保存參數(shù)。僅在卷積層操作并且只支持從頭開始訓(xùn)練。

迭代剪枝與量化 減少對性能不敏感的冗余參數(shù)。可以在卷積層和全連接層操作，支持從頭開始訓(xùn)練和預(yù)訓(xùn)練模型。

下載: 導(dǎo)出CSV

與其他壓縮模型方法相比，如知識蒸餾、低秩分解和轉(zhuǎn)移/緊湊卷積核，網(wǎng)絡(luò)剪枝在保留精度的同時大幅減少了計算復(fù)雜度。因此，本文采用迭代剪枝的方法。

3.1　迭代剪枝

迭代剪枝方式可以降低卷積神經(jīng)網(wǎng)絡(luò)的計算量和內(nèi)存占用量。VGG-16具有較好的圖像分類效果［27］，但VGG-16參數(shù)量大，高達113.84 Mb，消耗了大量內(nèi)存。VGG-16擁有13層的卷積層和3層的全連接層。VGG-16中參數(shù)量最多的層并非卷積層，而是第一個全連接層。這是因為13層卷積層提取的特征參數(shù)全部傳輸?shù)降谝粋€全連接層，共有84.24 Mb參數(shù)，占總參數(shù)量的74%。

降低全連接層的參數(shù)量的關(guān)鍵步驟是確定每層中最佳的神經(jīng)元數(shù)量。然而，全連接層的神經(jīng)元數(shù)量通常根據(jù)工程經(jīng)驗確定，如128、512、4 096等。通過控制剪枝率對模型中神經(jīng)元數(shù)量進行部分修剪，少量修剪并不會造成分類精度的下降。這種被修剪的弱神經(jīng)元是多余的，其存在會導(dǎo)致過擬合和優(yōu)化困難。為了尋找每層神經(jīng)元的最佳數(shù)量以實現(xiàn)更高效的網(wǎng)絡(luò)架構(gòu)，本文采用一種迭代剪枝方法以修剪冗余的神經(jīng)元。

迭代剪枝分為3步，如圖3所示。

圖3  迭代剪枝的流程圖

Fig.3  Flowchart of iterative pruning

下載: 原圖 | 高精圖 | 低精圖

第一步，利用遷移學(xué)習(xí)訓(xùn)練VGG-16的連通性。與傳統(tǒng)訓(xùn)練不同的是，訓(xùn)練VGG-16的連通性不是學(xué)習(xí)權(quán)重值，而是學(xué)習(xí)神經(jīng)元的重要性。

第二步，修剪低權(quán)重連接。設(shè)訓(xùn)練數(shù)據(jù)集為D=｛X=｛x0，x1，…，xN｝，Y=｛y0，y1，…，yN｝｝，其中X、Y代表輸入和輸出。優(yōu)化權(quán)重參數(shù)W= {(w11,b11),(w21,b21),...(wC??L,bC??L)}，使得代價函數(shù)值最小，如式（1）所示：

J(θ)=?1m?[∑i=1m∑k=1K(y(i)kloghθ(x(i))+(1?y(i)k)log(1?(hθ(x(i)))k)]

 . （1）

權(quán)重標(biāo)準(zhǔn)差Θstd(W)的計算公式如式（2）所示：

Θstd(W)=1|W|∑i(wi?μw)2????????????????√

 ， （2）

其中，W是權(quán)重集的維數(shù)。

將權(quán)重低于Θstd(W)的神經(jīng)元h置0。此時代價函數(shù)為J(θ',h=0)。需使剪枝前后網(wǎng)絡(luò)模型的代價函數(shù)盡可能相等，因此需給出使函數(shù)argmin|J(θ)?J(θ',h=0)|最小的h，從而將密集網(wǎng)絡(luò)轉(zhuǎn)為稀疏網(wǎng)絡(luò)。

第三步，訓(xùn)練稀疏網(wǎng)絡(luò)，以便剩余的連接可以補償已刪除的連接，這一步至關(guān)重要。修剪和再訓(xùn)練的階段可以迭代，減少復(fù)雜度。否則，準(zhǔn)確性會下降。

修剪連接后，零輸入連接或零輸出連接的神經(jīng)元可以被安全地修剪，修剪示例如圖4所示。在訓(xùn)練過程中，死亡的神經(jīng)元將被自動移除。

圖4  修剪前后的突觸和神經(jīng)元

Fig.4  Synapses and neurons before and after pruning

下載: 原圖 | 高精圖 | 低精圖

3.2　量化與Huffman編碼

剪枝是刪除網(wǎng)絡(luò)模型中不重要的權(quán)重參數(shù)，量化則是減少存儲權(quán)重的字節(jié)數(shù)，將權(quán)重存儲在更小的空間中。權(quán)重不需要以高精度方式存儲，甚至不應(yīng)該以高精度方式存儲。本文采用K-means++聚類實現(xiàn)權(quán)重參數(shù)的量化，利用霍夫曼編碼壓縮迭代剪枝與量化后的VGGNet權(quán)重參數(shù)，達到減少存儲量和浮點數(shù)運算量（Flops）的作用。在利用霍夫曼編碼實現(xiàn)壓縮時［28］，概率大的分配短碼，概率小的分配長碼。

4 實驗結(jié)果與分析

本節(jié)將在Mars32K數(shù)據(jù)集上評估迭代剪枝與量化對VGG-16進行模型壓縮的效果。

采用5種數(shù)據(jù)增強方法進行數(shù)據(jù)擴充，并且將圖像的像素都調(diào)整為224×224。本文使用遷移學(xué)習(xí)方法訓(xùn)練VGG-16模型的連通性。在迭代剪枝過程中，使用SGD優(yōu)化器以10-4的學(xué)習(xí)率、批量大小為32、動量為0.8、剪枝率為0.2訓(xùn)練網(wǎng)絡(luò)模型。

本文采用準(zhǔn)確率、浮點數(shù)運算量和總內(nèi)存占用量指標(biāo)來評價模型的性能。用TP、FP、FN、TN分別表示標(biāo)簽為正樣本、預(yù)測為負(fù)樣本，標(biāo)簽為正樣本預(yù)測、為正樣本，標(biāo)簽為負(fù)樣本預(yù)測、為負(fù)樣本和標(biāo)簽為負(fù)樣本預(yù)測、為正樣本，準(zhǔn)確率的計算公式如式（3）所示：

Accuracy=TN+TPTN+TP+FN+FP

 . （3）

浮點數(shù)運算量的計算公式如式（4）所示：

Flops=2HW(CinK2+1)Cout

 ， （4）

式中：H、W和Cin分別表示輸入特征圖的高度、寬度和通道數(shù)，K是卷積核的寬度，Cout是輸入特征圖的通道數(shù)。

4.1　實驗結(jié)果

本文探索了不同剪枝率對模型準(zhǔn)確率的影響。從圖5可以看出，隨著剪枝率的增加，分類準(zhǔn)確率下降。值得注意的是，圖5中修剪后不再訓(xùn)練，剪枝后的網(wǎng)絡(luò)性能未達到最優(yōu)。鑒于剪枝率為0.2時，VGG-16效果較好，本文選擇0.2的剪枝率，并在后續(xù)實驗中，剪枝后再訓(xùn)練網(wǎng)絡(luò)。

圖5  不同剪枝率對模型準(zhǔn)確率的影響

Fig.5  Influence of different pruning rates on model accuracy

下載: 原圖 | 高精圖 | 低精圖

模型壓縮分為3步。第一步，遷移學(xué)習(xí)預(yù)訓(xùn)練VGG-16的連通性，結(jié)果對應(yīng)圖6中前150代的預(yù)訓(xùn)練模型曲線；第二步，迭代修剪低權(quán)重神經(jīng)元，結(jié)果對應(yīng)圖6中迭代剪枝曲線；第三步，對修剪后的網(wǎng)絡(luò)再訓(xùn)練，結(jié)果對應(yīng)圖6中再訓(xùn)練曲線。

圖6  預(yù)訓(xùn)練、迭代剪枝和再訓(xùn)練模型的準(zhǔn)確率。

Fig.6  Accuracy of pretrained， iteratively pruned and retrained model.

下載: 原圖 | 高精圖 | 低精圖

為了驗證迭代剪枝再訓(xùn)練VGG-16的有效性，將訓(xùn)練代數(shù)為160、200和275時的權(quán)重參數(shù)進行量化與霍夫曼編碼。圖7給出了訓(xùn)練代數(shù)為160時的結(jié)果。圖8給出了訓(xùn)練代數(shù)為160、200和275時對應(yīng)的特征提取圖。表3給出了模型壓縮前后的相關(guān)數(shù)據(jù)。從圖8和表3可以看出，一方面，隨著訓(xùn)練代數(shù)增大，未裁剪的神經(jīng)元數(shù)量變少，提取的巖石相對位置信息和紋理信息減少，分類準(zhǔn)確率也隨之下降；另一方面，內(nèi)存占用量、Flops值也隨之降低。對以上指標(biāo)折中，本文選擇訓(xùn)練代數(shù)為160的壓縮后的VGG-16。

圖7  霍夫曼編碼量化實現(xiàn)權(quán)重參數(shù)壓縮的過程

Fig.7  Process of Huffman coding and quantization to realize the compression of weight parameters

下載: 原圖 | 高精圖 | 低精圖

圖8  迭代剪枝模型不同層提取的特征圖

Fig.8  Feature maps extracted from different layers of iterative pruning model

下載: 原圖 | 高精圖 | 低精圖

表3  模型壓縮前后的數(shù)據(jù)對比

Tab.3  Data comparison before and after model compression

方法 訓(xùn)練代數(shù) 內(nèi)存占用量/Mb Flops/MFlops 準(zhǔn)確度/%

VGG-16（預(yù)訓(xùn)練模型） 150 241.99 346.20 98.10

迭代剪枝 160 60.46 148.60 92.82

200 25.43 63.80 85.54

275 17.48 36.45 62.79

再訓(xùn)練 160 62.63 150.60 96.15

200 29.61 69.70 91.54

275 23.67 43.21 67.37

下載: 導(dǎo)出CSV

通過混淆矩陣展示模型壓縮后的性能，如圖9所示。通過分析混淆矩陣可以看出，分類準(zhǔn)確率高，僅存在極少失敗案例。如迭代剪枝模型將G6類別錯誤地分類為G2類，G2類別被錯誤地分類為G4類別。

圖9  分類混淆矩陣

Fig.9  Classification confusion matrix

下載: 原圖 | 高精圖 | 低精圖

綜合考慮模型的內(nèi)存占用量、準(zhǔn)確率和Flops 3個指標(biāo)，以160代時再訓(xùn)練的權(quán)重參數(shù)進行量化與霍夫曼編碼。編碼后的權(quán)重參數(shù)構(gòu)成的網(wǎng)絡(luò)作為火星圖像分類模型。

4.2　消融實驗

為了驗證迭代剪枝的有效性，本文將VGG-16與輕量級神經(jīng)網(wǎng)絡(luò)做對比，如MobileNet、ShuffleNet、EfficientNet、高分類精度的殘差神經(jīng)網(wǎng)絡(luò)ResNet50和采用密集連接的DenseNet。

MobileNet核心思想是采用深度卷積操作。相較于標(biāo)準(zhǔn)卷積操作，可以減少數(shù)倍的計算量，從而達到提升網(wǎng)絡(luò)運算速度的目的。然而采用深度卷積會出現(xiàn)“信息流通不暢”問題，即輸出的特征圖僅包含輸入的特征圖的一部分。

針對深度卷積帶來的“信息流通不暢”問題，ShuffleNet采用組卷積和通道隨機混合操作兩種經(jīng)典方法，其準(zhǔn)確率得到提升。

EfficientNet并非真正意義上的輕量化模型，只是借鑒depth-wise convolution，而depth-wise convolution又是上述二個輕量化模型的關(guān)鍵點。MobileNet、ShuffleNet是真正意義上的輕量化網(wǎng)絡(luò)，而EfficientNet在同等參數(shù)數(shù)量條件下可獲得更高的性能。

從表3和表4可以看出，在這5種網(wǎng)絡(luò)中，EfficientNet內(nèi)存占用量最低，ShuffleNet的Flops最小，均大于壓縮后的VGG-16。ResNet50模型準(zhǔn)確率最高，小于壓縮后的VGG-16。因此，壓縮后的VGG-16模型更輕量，準(zhǔn)確率較高，適合部署到未來的火星探測任務(wù)中。

表4  消融實驗

Tab.4  Ablation experiment

算法 內(nèi)存占用量/Mb Flops/MFlops 準(zhǔn)確度/%

MobileNet 162.20 320.24 98.71

ShuffleNet 139.60 316.45 98.43

EfficientNet 123.40 399.30 98.12

ResNet50 317.43 4 218.88 98.86

DenseNet 147.10 2 880.00 98.30

下載: 導(dǎo)出CSV

5 結(jié)論

本文設(shè)計了一種輕量級的圖像分類器。首先，采用遷移學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)的連通性。其次，通過迭代剪枝方法修剪不重要的神經(jīng)元。最后，采用K-means++聚類實現(xiàn)權(quán)重參數(shù)的量化，利用霍夫曼編碼壓縮VGGNet權(quán)重參數(shù)。此外，采用5種數(shù)據(jù)增強方法進行數(shù)據(jù)擴充，提高訓(xùn)練數(shù)據(jù)的多樣性。壓縮后的VGG-16具有如下優(yōu)點：

（1）準(zhǔn)確率高。壓縮后的VGG-16模型分類精度為96.16%。這是因為迭代剪枝未損害模型的特征提取能力，僅裁剪冗余神經(jīng)元。剪枝后的神經(jīng)元能夠完整地提取火星巖石的相對位置信息和紋理信息。

（2）內(nèi)存占用量和浮點數(shù)運算量小。壓縮后的VGG-16模型內(nèi)存占用量和Flops值分別是62.63 Mb和150.60 MFlops，均低于5種對比網(wǎng)絡(luò)。

（3）泛化能力和魯棒性強。壓縮后的VGG-16可在參數(shù)未調(diào)整的情況下對巖石進行分類，可較好地應(yīng)用于未來的火星探測任務(wù)。