基于輕量級無錨點(diǎn)深度卷積神經(jīng)網(wǎng)絡(luò)的樹上蘋果檢測模型

　　摘要: 為提高現(xiàn)有蘋果目標(biāo)檢測模型在硬件資源受限制條件下的性能和適應(yīng)性，實現(xiàn)在保持較高檢測精度的同時，減輕模型計算量，降低檢測耗時，減少模型計算和存儲資源占用的目的，本研究通過改進(jìn)輕量級的MobileNetV3網(wǎng)絡(luò)，結(jié)合關(guān)鍵點(diǎn)預(yù)測的目標(biāo)檢測網(wǎng)絡(luò)（CenterNet），構(gòu)建了用于蘋果檢測的輕量級無錨點(diǎn)深度學(xué)習(xí)網(wǎng)絡(luò)模型（M-CenterNet），并通過與CenterNet和單次多重檢測器（Single Shot Multibox Detector，SSD）網(wǎng)絡(luò)比較了模型的檢測精度、模型容量和運(yùn)行速度等方面的綜合性能。對模型的測試結(jié)果表明，本研究模型的平均精度、誤檢率和漏檢率分別為88.9%、10.9%和5.8%；模型體積和幀率分別為14.2MB和8.1fps；在不同光照方向、不同遠(yuǎn)近距離、不同受遮擋程度和不同果實數(shù)量等條件下有較好的果實檢測效果和適應(yīng)能力。在檢測精度相當(dāng)?shù)那闆r下，所提網(wǎng)絡(luò)模型體積僅為CenterNet網(wǎng)絡(luò)的1/4；相比于SSD網(wǎng)絡(luò)，所提網(wǎng)絡(luò)模型的AP提升了3.9%，模型體積降低了84.3%；本網(wǎng)絡(luò)模型在CPU環(huán)境中的運(yùn)行速度比CenterNet和SSD網(wǎng)絡(luò)提高了近1倍。研究結(jié)果可為非結(jié)構(gòu)環(huán)境下果園作業(yè)平臺的輕量化果實目標(biāo)檢測模型研究提供新的思路。

　　關(guān)鍵詞: 機(jī)器視覺；深度學(xué)習(xí)；輕量級網(wǎng)絡(luò)；無錨點(diǎn)；蘋果檢測

　　1 引言

　　智能化栽培和機(jī)器化作業(yè)是可持續(xù)果業(yè)發(fā)展的有效途徑，有利于降低經(jīng)濟(jì)和環(huán)境成本，提高果園生產(chǎn)率[1,2]。在果園自然環(huán)境下，高性能的視覺感知系統(tǒng)是自動化栽培平臺進(jìn)行果實作業(yè)的前提和關(guān)鍵，能否快速、準(zhǔn)確地檢測到果實目標(biāo)直接影響著果園自動化栽培平臺的果實作業(yè)效率[3]。

　　2 材料與方法

　　2.1　圖像數(shù)據(jù)獲取與處理

　　試驗圖像數(shù)據(jù)的采集地點(diǎn)位于中國遼寧省興城市的蘋果園。數(shù)據(jù)采集設(shè)備為手持式數(shù)碼相機(jī)，采集時間為8:00-17:00，在晴朗和多云天氣條件下共采集1455幅蘋果圖像。在采集過程中，相機(jī)鏡頭與果樹列平行，并與果樹保持50cm左右的距離，該距離利于果園作業(yè)平臺找到合適的目標(biāo)搜索區(qū)域，方便其高效地完成任務(wù)。采集圖像的像素分辨率為5472×3648，為減輕計算負(fù)擔(dān)，將采集圖像的像素分辨率調(diào)整為750×500。同時，運(yùn)用自主開發(fā)的標(biāo)注工具對所有圖像中的蘋果進(jìn)行逐一標(biāo)注，獲取并記錄圖像中每個蘋果標(biāo)注框的坐標(biāo)信息，即標(biāo)注框的左上角和右下角兩個點(diǎn)的x、y坐標(biāo)信息。

　　2.2　CenterNet網(wǎng)絡(luò)

　　CenterNet網(wǎng)絡(luò)[32]是目前性能最好、最有效的無錨點(diǎn)目標(biāo)檢測網(wǎng)絡(luò)之一。無錨點(diǎn)目標(biāo)檢測網(wǎng)絡(luò)中，無論是CornerNet網(wǎng)絡(luò)將邊框兩個角點(diǎn)作為檢測關(guān)鍵點(diǎn)，還是ExtremeNet算法需要檢測出目標(biāo)的最上、最下、最左、最右和中心五個點(diǎn)，都需要在檢測出關(guān)鍵點(diǎn)后對其分組，而這些操作無疑會降低算法整體速度。CenterNet網(wǎng)絡(luò)提供了一種更為簡潔的思路，即通過一個點(diǎn)來定位待檢測目標(biāo)。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

　　3 試驗結(jié)果與分析

　　3.1　試驗軟硬件環(huán)境

　　本研究試驗運(yùn)用深度學(xué)習(xí)框架進(jìn)行模型訓(xùn)練和測試，因此選用圖形工作站作為硬件平臺，硬件配置為Intel Core i7-7700 CPU處理器，32GB內(nèi)存，NVIDIA TITAN Xp型GPU顯卡（16GB），操作系統(tǒng)為Linux Ubuntu 16.04，并行計算框架為CUDA 10.0，深度神經(jīng)網(wǎng)絡(luò)加速庫為CUDNN 7.5，使用python編程語言在Pytorch 1.0深度學(xué)習(xí)框架下實現(xiàn)本文網(wǎng)絡(luò)模型的構(gòu)建、訓(xùn)練和驗證。

　　3.2　模型訓(xùn)練

　　網(wǎng)絡(luò)模型在帶有GPU的硬件環(huán)境下進(jìn)行訓(xùn)練，以提高模型訓(xùn)練的收斂速度。采用帶動量因子（Momentum）的小批量（Mini-batch）隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD）來訓(xùn)練網(wǎng)絡(luò)。其中，每一批量圖像樣本數(shù)量（Batch size）設(shè)置為16，動量因子設(shè)為固定值0.9，權(quán)值衰減（Decay）為5×10-4。權(quán)重的初始化會影響網(wǎng)絡(luò)訓(xùn)練的收斂速度，因此本試驗中采用均值為0、標(biāo)準(zhǔn)偏差為0.001的高斯分布對網(wǎng)絡(luò)每一層的權(quán)重進(jìn)行隨機(jī)初始化。所有卷積層和反向卷積層的偏置（Bias）值均初始化為0。對網(wǎng)絡(luò)中的所有層采用相同的學(xué)習(xí)速率，初始學(xué)習(xí)速率（Learning Rate）設(shè)為1.25×10-4，訓(xùn)練過程中，當(dāng)驗證集的檢測精度停止增加時，則使用余弦退火（Cosine Annealing）的方式將學(xué)習(xí)速率降低為當(dāng)前學(xué)習(xí)速率的10%，直到通過調(diào)整學(xué)習(xí)速率不再提高驗證集的檢測精度為止。同時，使用在線數(shù)據(jù)增強(qiáng)的方法對數(shù)據(jù)進(jìn)行光度扭曲和隨機(jī)抽樣。

　　3.2　試驗結(jié)果與性能評價

　　3.2.1　試驗結(jié)果

　　在果園作業(yè)平臺實際工作中，平臺移動會使圖像采集環(huán)境發(fā)生變化。因此，試驗分別選取測試集中不同光照方向、不同遠(yuǎn)近距離、不同遮擋程度和不同果實數(shù)量的蘋果圖像送入訓(xùn)練好的網(wǎng)絡(luò)模型，對圖像中的樹上蘋果進(jìn)行自動檢測并記錄結(jié)果，以評價網(wǎng)絡(luò)模型在不同條件下的檢測能力。

　　果園中光照的變化會產(chǎn)生圖像欠曝光或過曝光的現(xiàn)象，使圖像中的果實偏暗或過亮。試驗發(fā)現(xiàn)，本研究網(wǎng)絡(luò)模型對不同光照條件下的蘋果檢測有較好的魯棒性，如圖7所示。

　　模型中的深度卷積神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的特征提取能力，能夠根據(jù)不同蘋果圖像，自主提取不同特點(diǎn)的特征進(jìn)行學(xué)習(xí)，從而克服因光照變化導(dǎo)致的過暗或過亮蘋果目標(biāo)無法較好檢測的問題。

　　參考文獻(xiàn)

　　[1] Kang H, Chen C. Fruit detection and segmentation for apple harvesting using visual sensor in orchards[J]. Sensors, 2019, 19(20): 4599-4614.

　　[2] 王丹丹, 何東健. 基于R-FCN深度卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人疏果前蘋果目標(biāo)的識別[J]. 農(nóng)業(yè)工程學(xué)報, 2019, 35(3): 156-163.

　　Wang D, He D. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution neural network[J]. Transactions of the CSAE, 2019, 35(3): 156-163.

　　[3] 趙德安， 吳任迪， 劉曉洋，等. 基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機(jī)器人采摘蘋果定位[J]. 農(nóng)業(yè)工程學(xué)報, 2019, 35(3): 164-173.

　　Zhao D, Wu R, Liu X, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the CSAE, 2019, 35(3): 164-173.

　　作者夏雪 1,2, 孫琦鑫 1,2, 侍嘯 1,2, 柴秀娟 1,2*

《基于輕量級無錨點(diǎn)深度卷積神經(jīng)網(wǎng)絡(luò)的樹上蘋果檢測模型》

上一篇：用于作物表型信息邊緣計算采集的認(rèn)知無線傳感器網(wǎng)絡(luò)分簇路由算法

下一篇：學(xué)習(xí)西蘭花表型快速提取方法研究