摘要: 為提高現有蘋果目標檢測模型在硬件資源受限制條件下的性能和適應性，實現在保持較高檢測精度的同時，減輕模型計算量，降低檢測耗時，減少模型計算和存儲資源占用的目的，本研究通過改進輕量級的MobileNetV3網絡，結合關鍵點預測的目標檢測網絡（CenterNet），構建了用于蘋果檢測的輕量級無錨點深度學習網絡模型（M-CenterNet），并通過與CenterNet和單次多重檢測器（Single Shot Multibox Detector，SSD）網絡比較了模型的檢測精度、模型容量和運行速度等方面的綜合性能。對模型的測試結果表明，本研究模型的平均精度、誤檢率和漏檢率分別為88.9%、10.9%和5.8%；模型體積和幀率分別為14.2MB和8.1fps；在不同光照方向、不同遠近距離、不同受遮擋程度和不同果實數量等條件下有較好的果實檢測效果和適應能力。在檢測精度相當的情況下，所提網絡模型體積僅為CenterNet網絡的1/4；相比于SSD網絡，所提網絡模型的AP提升了3.9%，模型體積降低了84.3%；本網絡模型在CPU環境中的運行速度比CenterNet和SSD網絡提高了近1倍。研究結果可為非結構環境下果園作業平臺的輕量化果實目標檢測模型研究提供新的思路。

　　關鍵詞: 機器視覺；深度學習；輕量級網絡；無錨點；蘋果檢測

　　1 引言

　　智能化栽培和機器化作業是可持續果業發展的有效途徑，有利于降低經濟和環境成本，提高果園生產率[1,2]。在果園自然環境下，高性能的視覺感知系統是自動化栽培平臺進行果實作業的前提和關鍵，能否快速、準確地檢測到果實目標直接影響著果園自動化栽培平臺的果實作業效率[3]。

　　2 材料與方法

　　2.1　圖像數據獲取與處理

　　試驗圖像數據的采集地點位于中國遼寧省興城市的蘋果園。數據采集設備為手持式數碼相機，采集時間為8:00-17:00，在晴朗和多云天氣條件下共采集1455幅蘋果圖像。在采集過程中，相機鏡頭與果樹列平行，并與果樹保持50cm左右的距離，該距離利于果園作業平臺找到合適的目標搜索區域，方便其高效地完成任務。采集圖像的像素分辨率為5472×3648，為減輕計算負擔，將采集圖像的像素分辨率調整為750×500。同時，運用自主開發的標注工具對所有圖像中的蘋果進行逐一標注，獲取并記錄圖像中每個蘋果標注框的坐標信息，即標注框的左上角和右下角兩個點的x、y坐標信息。

　　2.2　CenterNet網絡

　　CenterNet網絡[32]是目前性能最好、最有效的無錨點目標檢測網絡之一。無錨點目標檢測網絡中，無論是CornerNet網絡將邊框兩個角點作為檢測關鍵點，還是ExtremeNet算法需要檢測出目標的最上、最下、最左、最右和中心五個點，都需要在檢測出關鍵點后對其分組，而這些操作無疑會降低算法整體速度。CenterNet網絡提供了一種更為簡潔的思路，即通過一個點來定位待檢測目標。其網絡結構如圖1所示。

　　3 試驗結果與分析

　　3.1　試驗軟硬件環境

　　本研究試驗運用深度學習框架進行模型訓練和測試，因此選用圖形工作站作為硬件平臺，硬件配置為Intel Core i7-7700 CPU處理器，32GB內存，NVIDIA TITAN Xp型GPU顯卡（16GB），操作系統為Linux Ubuntu 16.04，并行計算框架為CUDA 10.0，深度神經網絡加速庫為CUDNN 7.5，使用python編程語言在Pytorch 1.0深度學習框架下實現本文網絡模型的構建、訓練和驗證。

　　3.2　模型訓練

　　網絡模型在帶有GPU的硬件環境下進行訓練，以提高模型訓練的收斂速度。采用帶動量因子（Momentum）的小批量（Mini-batch）隨機梯度下降法（Stochastic Gradient Descent，SGD）來訓練網絡。其中，每一批量圖像樣本數量（Batch size）設置為16，動量因子設為固定值0.9，權值衰減（Decay）為5×10-4。權重的初始化會影響網絡訓練的收斂速度，因此本試驗中采用均值為0、標準偏差為0.001的高斯分布對網絡每一層的權重進行隨機初始化。所有卷積層和反向卷積層的偏置（Bias）值均初始化為0。對網絡中的所有層采用相同的學習速率，初始學習速率（Learning Rate）設為1.25×10-4，訓練過程中，當驗證集的檢測精度停止增加時，則使用余弦退火（Cosine Annealing）的方式將學習速率降低為當前學習速率的10%，直到通過調整學習速率不再提高驗證集的檢測精度為止。同時，使用在線數據增強的方法對數據進行光度扭曲和隨機抽樣。

　　3.2　試驗結果與性能評價

　　3.2.1　試驗結果

　　在果園作業平臺實際工作中，平臺移動會使圖像采集環境發生變化。因此，試驗分別選取測試集中不同光照方向、不同遠近距離、不同遮擋程度和不同果實數量的蘋果圖像送入訓練好的網絡模型，對圖像中的樹上蘋果進行自動檢測并記錄結果，以評價網絡模型在不同條件下的檢測能力。

　　果園中光照的變化會產生圖像欠曝光或過曝光的現象，使圖像中的果實偏暗或過亮。試驗發現，本研究網絡模型對不同光照條件下的蘋果檢測有較好的魯棒性，如圖7所示。

　　模型中的深度卷積神經網絡具有較強的特征提取能力，能夠根據不同蘋果圖像，自主提取不同特點的特征進行學習，從而克服因光照變化導致的過暗或過亮蘋果目標無法較好檢測的問題。

　　參考文獻

　　[1] Kang H, Chen C. Fruit detection and segmentation for apple harvesting using visual sensor in orchards[J]. Sensors, 2019, 19(20): 4599-4614.

　　[2] 王丹丹, 何東健. 基于R-FCN深度卷積神經網絡的機器人疏果前蘋果目標的識別[J]. 農業工程學報, 2019, 35(3): 156-163.

　　Wang D, He D. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution neural network[J]. Transactions of the CSAE, 2019, 35(3): 156-163.

　　[3] 趙德安， 吳任迪， 劉曉洋，等. 基于YOLO深度卷積神經網絡的復雜背景下機器人采摘蘋果定位[J]. 農業工程學報, 2019, 35(3): 164-173.

　　Zhao D, Wu R, Liu X, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the CSAE, 2019, 35(3): 164-173.

　　作者夏雪 1,2, 孫琦鑫 1,2, 侍嘯 1,2, 柴秀娟 1,2*