基于迭代剪枝VGGNet的火星圖像分類

火星是21世紀(jì)深空探測(cè)的主要目標(biāo)。為了進(jìn)一步探索火星，人類相繼發(fā)射Spirit、Opportunity和好奇號(hào)著陸火星表面。這些火星車均攜帶了全景相機(jī)。Spirit在運(yùn)行的6年時(shí)間里，分析了Gusev Crater底部的玄武巖、火山巖和火山碎屑巖［1］。Opportunity在運(yùn)行期間穿越40余公里，探索了火山口中的沉積巖［2］和粗玄武巖［3］。尋找古代沉積巖，已成為火星車的重點(diǎn)工作。這是因?yàn)楣糯练e巖是液態(tài)水存在的證據(jù)，也是尋找外星生命的線索［4］。研究巖石還將為地形的物理性質(zhì)提供語(yǔ)義描述，有助于火星車避障［5］。火星環(huán)繞器需要作為中繼通信衛(wèi)星，為火星車建立穩(wěn)定的中繼通信鏈路，才能傳回火星巖石圖像供科學(xué)研究分析［6］。這就要求火星車對(duì)拍攝的火星圖像具有較強(qiáng)的分類能力，傳回重要的火星圖像，以節(jié)約火星車的能量。因此，提高火星圖像的分類能力具有重要的實(shí)用價(jià)值和必要性。

近年來(lái)，鑒于深度學(xué)習(xí)算法在圖像分類任務(wù)上的優(yōu)良性能以及有用特征的推斷能力，使得它們?cè)诨鹦翘綔y(cè)任務(wù)中具有廣泛的應(yīng)用前景。Anirudh提出了一種深度學(xué)習(xí)算法MRSCAtt，該算法聯(lián)合使用空間和通道注意機(jī)制來(lái)彌補(bǔ)火星圖像在色調(diào)、質(zhì)量、照明和清晰度方面與地球圖像之間的差異，從而進(jìn)行精確的圖像分類［7］。Li利用VGG-16和遷移學(xué)習(xí)進(jìn)行火星圖像分類，在MSL Analyst火星巖石圖像庫(kù)上取得了較好的分類效果［5］。Shang提出基于模糊粗糙特征選擇與支持向量機(jī)結(jié)合的圖像分類器，用于解決類別多、數(shù)量大等問題［8］。Wagstaff為幫助科學(xué)家找到感興趣圖像，開發(fā)了基于內(nèi)容搜索的圖像分類器［9］。Lu在美國(guó)國(guó)家航空航天局的行星數(shù)據(jù)系統(tǒng)圖像制圖節(jié)點(diǎn)中部署了多種經(jīng)典分類器［10］。柳思聰研制了“天問一號(hào)”著陸區(qū)域的高分辨率三維地形圖，并通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)著陸區(qū)地形地貌進(jìn)行了分類［11］。

雖然這些深度學(xué)習(xí)圖像分類算法應(yīng)用于真實(shí)火星圖像時(shí)可以取得較好效果［12］，但是無(wú)法部署到火星車上。這是由于受到兩個(gè)限制：卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜結(jié)構(gòu)和內(nèi)存容量?；鹦擒嚨挠布Y源寶貴，圖像分類任務(wù)不能占用所有計(jì)算資源。

為了解決這個(gè)問題，本文利用迭代裁剪方式，對(duì)VGGNet［13］進(jìn)行模型壓縮。在保持VGGNet高分類準(zhǔn)確率的基礎(chǔ)上，減小VGGNet占用的內(nèi)存資源和計(jì)算資源。需要注意的是，需根據(jù)剪枝后的權(quán)重參數(shù)重新訓(xùn)練VGGNet。對(duì)于裁剪較敏感的層，使用小的裁剪力度或者不裁剪。采用迭代裁剪方式對(duì)模型進(jìn)行壓縮有助于減少圖像分類器的內(nèi)存占用量。該方法具體如下；首先，采用遷移學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)的連通性，以便評(píng)估神經(jīng)元的重要性；其次，通過(guò)迭代剪枝方法修剪不重要的神經(jīng)元，以便將全連接層的參數(shù)量和內(nèi)存占用量減少；最后，采用K-means++聚類實(shí)現(xiàn)權(quán)重參數(shù)的量化，利用霍夫曼編碼壓縮迭代剪枝與量化后的VGGNet權(quán)重參數(shù)，達(dá)到減少存儲(chǔ)量和浮點(diǎn)數(shù)運(yùn)算量的作用。此外，本文通過(guò)5種數(shù)據(jù)增強(qiáng)方法進(jìn)行數(shù)據(jù)擴(kuò)充，目的是解決類別不平衡的問題。為了驗(yàn)證壓縮后的模型有效性，將其與輕量級(jí)ShuffleNet［14］、MobileNet［15］和EfficientNet［16］模型進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明，所提模型具有更好的性能。

2 數(shù)據(jù)集及數(shù)據(jù)處理

2.1　數(shù)據(jù)集

Mars32K數(shù)據(jù)集為好奇號(hào)火星車MAHLI相機(jī)在2012年8月至2018年11月期間采集的圖像。該數(shù)據(jù)集給出了火星的地理和地質(zhì)特征，如山脈、山谷、隕石坑、沙丘和巖石地形。本文對(duì)Mars32K火星表面數(shù)據(jù)集進(jìn)行類別劃分，表1給出了巖石類別和對(duì)應(yīng)標(biāo)簽，圖1給出了7種火星圖像示例。玄武巖高度氧化，呈弱堿性，通常二氧化硅不飽和［17-18］。層狀沉積巖是一種巖石露頭，顯示出層狀特征［19］，其分層稱為“交叉層理”，表明砂巖是由風(fēng)沉積而成的遷移沙丘［20］。細(xì)粒巖是火星地表暴露最多的礫石，其質(zhì)地呈斑狀或隱晶質(zhì)，有時(shí)呈水泡狀［21］。礫巖在不同深度的分離結(jié)晶含水量不同，產(chǎn)生了粗面巖、粗面玄武巖、夏威夷巖以及堆積的輝石巖、沙丘巖。粗玄武巖的來(lái)源尚未明確，可能是從隕石坑壁脫落或火山噴射物［22］。機(jī)車和沙顧名思義，不再贅述。

表1  圖像類別及其標(biāo)簽

Tab.1  Image categories and their labels

類別描述 標(biāo)簽

玄武巖 G1

礫巖 G2

機(jī)車 G3

細(xì)粒巖 G4

層狀沉積巖 G5

沙 G6

粗玄武巖 G7

下載: 導(dǎo)出CSV

圖1  7種圖像類別示例

Fig.1  Seven examples of image categories

下載: 原圖 | 高精圖 | 低精圖

2.2　數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是一種使有限的數(shù)據(jù)產(chǎn)生更多的等價(jià)數(shù)據(jù)來(lái)人工擴(kuò)展訓(xùn)練數(shù)據(jù)集的技術(shù)［23］。一般來(lái)說(shuō)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）的準(zhǔn)確率隨著訓(xùn)練圖像的數(shù)量增多而增加。當(dāng)難以獲得足夠的訓(xùn)練圖像時(shí)，數(shù)據(jù)增強(qiáng)成為擴(kuò)展數(shù)據(jù)庫(kù)的有效手段，可以有效提高CNN的分類精度［24］。數(shù)據(jù)增強(qiáng)最主要的目的是提高訓(xùn)練數(shù)據(jù)的多樣性，從而幫助模型更好地泛化到看不見的測(cè)試數(shù)據(jù)，并且可以很好地解決由于樣本不足而出現(xiàn)的過(guò)度擬合問題。通過(guò)數(shù)據(jù)增強(qiáng)方法可以很好地對(duì)未來(lái)我國(guó)的火星車所采集的巖石數(shù)據(jù)進(jìn)行泛化，無(wú)需參數(shù)調(diào)整就可直接遷移使用。常用的數(shù)據(jù)增強(qiáng)方法可分為空間幾何變換、像素顏色變換和多樣本合成幾種方法。本文使用的圖像增強(qiáng)技術(shù)有：翻轉(zhuǎn)、模糊、裁剪、旋轉(zhuǎn)、平移和加入噪聲。本實(shí)驗(yàn)中數(shù)據(jù)增強(qiáng)前后數(shù)據(jù)對(duì)比如圖2所示。

圖2  數(shù)據(jù)增強(qiáng)前后的類別數(shù)量對(duì)比

Fig.2  Comparison of the number of categories before and after data enhancement

下載: 原圖 | 高精圖 | 低精圖

3 模型壓縮

傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)模型計(jì)算量大且內(nèi)存密集。然而，火星車探測(cè)車的系統(tǒng)內(nèi)存資源有限，分類任務(wù)不能占據(jù)系統(tǒng)的全部資源。大計(jì)算量阻礙了深度神經(jīng)網(wǎng)絡(luò)模型在內(nèi)存資源低的設(shè)備或具有嚴(yán)格延遲要求的應(yīng)用程序中的部署。在不降低精度的前提下，壓縮和加速深度網(wǎng)絡(luò)模型，完成火星圖像分類是必然的途徑。

目前，通常意義上的模型壓縮，主流思路有兩個(gè)方向。一個(gè)是設(shè)計(jì)更輕巧的網(wǎng)絡(luò)模型，如ShuffleNet、MobileNet和EfficientNet等。這些輕量級(jí)網(wǎng)絡(luò)模型，可以根據(jù)實(shí)際精度要求，不斷調(diào)試優(yōu)化。另外一種思路是通過(guò)模型壓縮方法改變網(wǎng)絡(luò)模型結(jié)構(gòu)，減小模型的內(nèi)存占用量和計(jì)算復(fù)雜度。表2給出了4種模型壓縮及其簡(jiǎn)要描述。模型壓縮的思路是針對(duì)ResNet［25］、DenseNet［26］、VGGNet等網(wǎng)絡(luò)模型中存在大量冗余節(jié)點(diǎn)，節(jié)點(diǎn)權(quán)重占用大量?jī)?nèi)存的問題，通過(guò)剪除冗余節(jié)點(diǎn)以達(dá)到優(yōu)化的目的。

表2  模型壓縮方法與簡(jiǎn)要介紹

Tab.2  Model compression method and brief introduction

方法 簡(jiǎn)要介紹

知識(shí)蒸餾 通過(guò)采用預(yù)先訓(xùn)練好的復(fù)雜模型（Teacher model）的輸出作為監(jiān)督信號(hào)去訓(xùn)練另外一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)（Student model），可以在卷積層和全連接層操作，僅支持從頭開始訓(xùn)練。

低秩分解 使用矩陣/張量分解來(lái)估計(jì)信息參數(shù)。支持卷積層和全連接層操作，僅支持從頭開始訓(xùn)練。

轉(zhuǎn)移/緊湊卷積核 設(shè)計(jì)特殊的結(jié)構(gòu)卷積核來(lái)保存參數(shù)。僅在卷積層操作并且只支持從頭開始訓(xùn)練。

迭代剪枝與量化 減少對(duì)性能不敏感的冗余參數(shù)?？梢栽诰矸e層和全連接層操作，支持從頭開始訓(xùn)練和預(yù)訓(xùn)練模型。

下載: 導(dǎo)出CSV

與其他壓縮模型方法相比，如知識(shí)蒸餾、低秩分解和轉(zhuǎn)移/緊湊卷積核，網(wǎng)絡(luò)剪枝在保留精度的同時(shí)大幅減少了計(jì)算復(fù)雜度。因此，本文采用迭代剪枝的方法。

3.1　迭代剪枝

迭代剪枝方式可以降低卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算量和內(nèi)存占用量。VGG-16具有較好的圖像分類效果［27］，但VGG-16參數(shù)量大，高達(dá)113.84 Mb，消耗了大量?jī)?nèi)存。VGG-16擁有13層的卷積層和3層的全連接層。VGG-16中參數(shù)量最多的層并非卷積層，而是第一個(gè)全連接層。這是因?yàn)?3層卷積層提取的特征參數(shù)全部傳輸?shù)降谝粋€(gè)全連接層，共有84.24 Mb參數(shù)，占總參數(shù)量的74%。

降低全連接層的參數(shù)量的關(guān)鍵步驟是確定每層中最佳的神經(jīng)元數(shù)量。然而，全連接層的神經(jīng)元數(shù)量通常根據(jù)工程經(jīng)驗(yàn)確定，如128、512、4 096等。通過(guò)控制剪枝率對(duì)模型中神經(jīng)元數(shù)量進(jìn)行部分修剪，少量修剪并不會(huì)造成分類精度的下降。這種被修剪的弱神經(jīng)元是多余的，其存在會(huì)導(dǎo)致過(guò)擬合和優(yōu)化困難。為了尋找每層神經(jīng)元的最佳數(shù)量以實(shí)現(xiàn)更高效的網(wǎng)絡(luò)架構(gòu)，本文采用一種迭代剪枝方法以修剪冗余的神經(jīng)元。

迭代剪枝分為3步，如圖3所示。

圖3  迭代剪枝的流程圖

Fig.3  Flowchart of iterative pruning

下載: 原圖 | 高精圖 | 低精圖

第一步，利用遷移學(xué)習(xí)訓(xùn)練VGG-16的連通性。與傳統(tǒng)訓(xùn)練不同的是，訓(xùn)練VGG-16的連通性不是學(xué)習(xí)權(quán)重值，而是學(xué)習(xí)神經(jīng)元的重要性。

第二步，修剪低權(quán)重連接。設(shè)訓(xùn)練數(shù)據(jù)集為D=｛X=｛x0，x1，…，xN｝，Y=｛y0，y1，…，yN｝｝，其中X、Y代表輸入和輸出。優(yōu)化權(quán)重參數(shù)W= {(w11,b11),(w21,b21),...(wC??L,bC??L)}，使得代價(jià)函數(shù)值最小，如式（1）所示：

J(θ)=?1m?[∑i=1m∑k=1K(y(i)kloghθ(x(i))+(1?y(i)k)log(1?(hθ(x(i)))k)]

 . （1）

權(quán)重標(biāo)準(zhǔn)差Θstd(W)的計(jì)算公式如式（2）所示：

Θstd(W)=1|W|∑i(wi?μw)2????????????????√

 ， （2）

其中，W是權(quán)重集的維數(shù)。

將權(quán)重低于Θstd(W)的神經(jīng)元h置0。此時(shí)代價(jià)函數(shù)為J(θ',h=0)。需使剪枝前后網(wǎng)絡(luò)模型的代價(jià)函數(shù)盡可能相等，因此需給出使函數(shù)argmin|J(θ)?J(θ',h=0)|最小的h，從而將密集網(wǎng)絡(luò)轉(zhuǎn)為稀疏網(wǎng)絡(luò)。

第三步，訓(xùn)練稀疏網(wǎng)絡(luò)，以便剩余的連接可以補(bǔ)償已刪除的連接，這一步至關(guān)重要。修剪和再訓(xùn)練的階段可以迭代，減少?gòu)?fù)雜度。否則，準(zhǔn)確性會(huì)下降。

修剪連接后，零輸入連接或零輸出連接的神經(jīng)元可以被安全地修剪，修剪示例如圖4所示。在訓(xùn)練過(guò)程中，死亡的神經(jīng)元將被自動(dòng)移除。

圖4  修剪前后的突觸和神經(jīng)元

Fig.4  Synapses and neurons before and after pruning

下載: 原圖 | 高精圖 | 低精圖

3.2　量化與Huffman編碼

剪枝是刪除網(wǎng)絡(luò)模型中不重要的權(quán)重參數(shù)，量化則是減少存儲(chǔ)權(quán)重的字節(jié)數(shù)，將權(quán)重存儲(chǔ)在更小的空間中。權(quán)重不需要以高精度方式存儲(chǔ)，甚至不應(yīng)該以高精度方式存儲(chǔ)。本文采用K-means++聚類實(shí)現(xiàn)權(quán)重參數(shù)的量化，利用霍夫曼編碼壓縮迭代剪枝與量化后的VGGNet權(quán)重參數(shù)，達(dá)到減少存儲(chǔ)量和浮點(diǎn)數(shù)運(yùn)算量（Flops）的作用。在利用霍夫曼編碼實(shí)現(xiàn)壓縮時(shí)［28］，概率大的分配短碼，概率小的分配長(zhǎng)碼。

4 實(shí)驗(yàn)結(jié)果與分析

本節(jié)將在Mars32K數(shù)據(jù)集上評(píng)估迭代剪枝與量化對(duì)VGG-16進(jìn)行模型壓縮的效果。

采用5種數(shù)據(jù)增強(qiáng)方法進(jìn)行數(shù)據(jù)擴(kuò)充，并且將圖像的像素都調(diào)整為224×224。本文使用遷移學(xué)習(xí)方法訓(xùn)練VGG-16模型的連通性。在迭代剪枝過(guò)程中，使用SGD優(yōu)化器以10-4的學(xué)習(xí)率、批量大小為32、動(dòng)量為0.8、剪枝率為0.2訓(xùn)練網(wǎng)絡(luò)模型。

本文采用準(zhǔn)確率、浮點(diǎn)數(shù)運(yùn)算量和總內(nèi)存占用量指標(biāo)來(lái)評(píng)價(jià)模型的性能。用TP、FP、FN、TN分別表示標(biāo)簽為正樣本、預(yù)測(cè)為負(fù)樣本，標(biāo)簽為正樣本預(yù)測(cè)、為正樣本，標(biāo)簽為負(fù)樣本預(yù)測(cè)、為負(fù)樣本和標(biāo)簽為負(fù)樣本預(yù)測(cè)、為正樣本，準(zhǔn)確率的計(jì)算公式如式（3）所示：

Accuracy=TN+TPTN+TP+FN+FP

 . （3）

浮點(diǎn)數(shù)運(yùn)算量的計(jì)算公式如式（4）所示：

Flops=2HW(CinK2+1)Cout

 ， （4）

式中：H、W和Cin分別表示輸入特征圖的高度、寬度和通道數(shù)，K是卷積核的寬度，Cout是輸入特征圖的通道數(shù)。

4.1　實(shí)驗(yàn)結(jié)果

本文探索了不同剪枝率對(duì)模型準(zhǔn)確率的影響。從圖5可以看出，隨著剪枝率的增加，分類準(zhǔn)確率下降。值得注意的是，圖5中修剪后不再訓(xùn)練，剪枝后的網(wǎng)絡(luò)性能未達(dá)到最優(yōu)。鑒于剪枝率為0.2時(shí)，VGG-16效果較好，本文選擇0.2的剪枝率，并在后續(xù)實(shí)驗(yàn)中，剪枝后再訓(xùn)練網(wǎng)絡(luò)。

圖5  不同剪枝率對(duì)模型準(zhǔn)確率的影響

Fig.5  Influence of different pruning rates on model accuracy

下載: 原圖 | 高精圖 | 低精圖

模型壓縮分為3步。第一步，遷移學(xué)習(xí)預(yù)訓(xùn)練VGG-16的連通性，結(jié)果對(duì)應(yīng)圖6中前150代的預(yù)訓(xùn)練模型曲線；第二步，迭代修剪低權(quán)重神經(jīng)元，結(jié)果對(duì)應(yīng)圖6中迭代剪枝曲線；第三步，對(duì)修剪后的網(wǎng)絡(luò)再訓(xùn)練，結(jié)果對(duì)應(yīng)圖6中再訓(xùn)練曲線。

圖6  預(yù)訓(xùn)練、迭代剪枝和再訓(xùn)練模型的準(zhǔn)確率。

Fig.6  Accuracy of pretrained， iteratively pruned and retrained model.

下載: 原圖 | 高精圖 | 低精圖

為了驗(yàn)證迭代剪枝再訓(xùn)練VGG-16的有效性，將訓(xùn)練代數(shù)為160、200和275時(shí)的權(quán)重參數(shù)進(jìn)行量化與霍夫曼編碼。圖7給出了訓(xùn)練代數(shù)為160時(shí)的結(jié)果。圖8給出了訓(xùn)練代數(shù)為160、200和275時(shí)對(duì)應(yīng)的特征提取圖。表3給出了模型壓縮前后的相關(guān)數(shù)據(jù)。從圖8和表3可以看出，一方面，隨著訓(xùn)練代數(shù)增大，未裁剪的神經(jīng)元數(shù)量變少，提取的巖石相對(duì)位置信息和紋理信息減少，分類準(zhǔn)確率也隨之下降；另一方面，內(nèi)存占用量、Flops值也隨之降低。對(duì)以上指標(biāo)折中，本文選擇訓(xùn)練代數(shù)為160的壓縮后的VGG-16。

圖7  霍夫曼編碼量化實(shí)現(xiàn)權(quán)重參數(shù)壓縮的過(guò)程

Fig.7  Process of Huffman coding and quantization to realize the compression of weight parameters

下載: 原圖 | 高精圖 | 低精圖

圖8  迭代剪枝模型不同層提取的特征圖

Fig.8  Feature maps extracted from different layers of iterative pruning model

下載: 原圖 | 高精圖 | 低精圖

表3  模型壓縮前后的數(shù)據(jù)對(duì)比

Tab.3  Data comparison before and after model compression

方法 訓(xùn)練代數(shù) 內(nèi)存占用量/Mb Flops/MFlops 準(zhǔn)確度/%

VGG-16（預(yù)訓(xùn)練模型） 150 241.99 346.20 98.10

迭代剪枝 160 60.46 148.60 92.82

200 25.43 63.80 85.54

275 17.48 36.45 62.79

再訓(xùn)練 160 62.63 150.60 96.15

200 29.61 69.70 91.54

275 23.67 43.21 67.37

下載: 導(dǎo)出CSV

通過(guò)混淆矩陣展示模型壓縮后的性能，如圖9所示。通過(guò)分析混淆矩陣可以看出，分類準(zhǔn)確率高，僅存在極少失敗案例。如迭代剪枝模型將G6類別錯(cuò)誤地分類為G2類，G2類別被錯(cuò)誤地分類為G4類別。

圖9  分類混淆矩陣

Fig.9  Classification confusion matrix

下載: 原圖 | 高精圖 | 低精圖

綜合考慮模型的內(nèi)存占用量、準(zhǔn)確率和Flops 3個(gè)指標(biāo)，以160代時(shí)再訓(xùn)練的權(quán)重參數(shù)進(jìn)行量化與霍夫曼編碼。編碼后的權(quán)重參數(shù)構(gòu)成的網(wǎng)絡(luò)作為火星圖像分類模型。

4.2　消融實(shí)驗(yàn)

為了驗(yàn)證迭代剪枝的有效性，本文將VGG-16與輕量級(jí)神經(jīng)網(wǎng)絡(luò)做對(duì)比，如MobileNet、ShuffleNet、EfficientNet、高分類精度的殘差神經(jīng)網(wǎng)絡(luò)ResNet50和采用密集連接的DenseNet。

MobileNet核心思想是采用深度卷積操作。相較于標(biāo)準(zhǔn)卷積操作，可以減少數(shù)倍的計(jì)算量，從而達(dá)到提升網(wǎng)絡(luò)運(yùn)算速度的目的。然而采用深度卷積會(huì)出現(xiàn)“信息流通不暢”問題，即輸出的特征圖僅包含輸入的特征圖的一部分。

針對(duì)深度卷積帶來(lái)的“信息流通不暢”問題，ShuffleNet采用組卷積和通道隨機(jī)混合操作兩種經(jīng)典方法，其準(zhǔn)確率得到提升。

EfficientNet并非真正意義上的輕量化模型，只是借鑒depth-wise convolution，而depth-wise convolution又是上述二個(gè)輕量化模型的關(guān)鍵點(diǎn)。MobileNet、ShuffleNet是真正意義上的輕量化網(wǎng)絡(luò)，而EfficientNet在同等參數(shù)數(shù)量條件下可獲得更高的性能。

從表3和表4可以看出，在這5種網(wǎng)絡(luò)中，EfficientNet內(nèi)存占用量最低，ShuffleNet的Flops最小，均大于壓縮后的VGG-16。ResNet50模型準(zhǔn)確率最高，小于壓縮后的VGG-16。因此，壓縮后的VGG-16模型更輕量，準(zhǔn)確率較高，適合部署到未來(lái)的火星探測(cè)任務(wù)中。

表4  消融實(shí)驗(yàn)

Tab.4  Ablation experiment

算法 內(nèi)存占用量/Mb Flops/MFlops 準(zhǔn)確度/%

MobileNet 162.20 320.24 98.71

ShuffleNet 139.60 316.45 98.43

EfficientNet 123.40 399.30 98.12

ResNet50 317.43 4 218.88 98.86

DenseNet 147.10 2 880.00 98.30

下載: 導(dǎo)出CSV

5 結(jié)論

本文設(shè)計(jì)了一種輕量級(jí)的圖像分類器。首先，采用遷移學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)的連通性。其次，通過(guò)迭代剪枝方法修剪不重要的神經(jīng)元。最后，采用K-means++聚類實(shí)現(xiàn)權(quán)重參數(shù)的量化，利用霍夫曼編碼壓縮VGGNet權(quán)重參數(shù)。此外，采用5種數(shù)據(jù)增強(qiáng)方法進(jìn)行數(shù)據(jù)擴(kuò)充，提高訓(xùn)練數(shù)據(jù)的多樣性。壓縮后的VGG-16具有如下優(yōu)點(diǎn)：

（1）準(zhǔn)確率高。壓縮后的VGG-16模型分類精度為96.16%。這是因?yàn)榈糁ξ磽p害模型的特征提取能力，僅裁剪冗余神經(jīng)元。剪枝后的神經(jīng)元能夠完整地提取火星巖石的相對(duì)位置信息和紋理信息。

（2）內(nèi)存占用量和浮點(diǎn)數(shù)運(yùn)算量小。壓縮后的VGG-16模型內(nèi)存占用量和Flops值分別是62.63 Mb和150.60 MFlops，均低于5種對(duì)比網(wǎng)絡(luò)。

（3）泛化能力和魯棒性強(qiáng)。壓縮后的VGG-16可在參數(shù)未調(diào)整的情況下對(duì)巖石進(jìn)行分類，可較好地應(yīng)用于未來(lái)的火星探測(cè)任務(wù)。