基于機器視覺與深度學(xué)習(xí)的西蘭花表型快速提取方法研究

　　摘要: 準(zhǔn)確獲取西蘭花花球面積和新鮮度是確定其長勢的關(guān)鍵步驟，本研究通過對深度殘差網(wǎng)絡(luò)ResNet進(jìn)行改進(jìn)得到一種新型的西蘭花花球分割模型，并通過花球部位黃綠顏色占比判斷其新鮮度，實現(xiàn)低成本高效準(zhǔn)確地西蘭花表型信息提取。主要技術(shù)流程包括：（1）基于地面自動影像獲取平臺拍攝西蘭花花球正射影像并建立原始數(shù)據(jù)集；（2）對訓(xùn)練圖像進(jìn)行預(yù)處理并輸入模型進(jìn)行分割；（3）基于顏色信息用粒子群結(jié)構(gòu)PSO和大津法Otsu對分割結(jié)果進(jìn)一步進(jìn)行閾值分割，獲取其新鮮度指標(biāo)。試驗結(jié)果表明：本研究建立的分割模型精度優(yōu)于傳統(tǒng)深度學(xué)習(xí)模型和基于顏色空間變換和閾值分割模型，4個評價指標(biāo)結(jié)構(gòu)相似性指數(shù)(SSIM)、平均精度(Precision)、平均召回率(Recall)、F-度量(F-measure)結(jié)果分別為0.911、0.897、0.908和0.907，相比于傳統(tǒng)方法提升了10%-15%，且對土壤反射率波動、冠層陰影、輻射強度變化等干擾具有一定的魯棒性。同時，在分割結(jié)果的基礎(chǔ)上采用PSO-Otsu法可以實現(xiàn)花球新鮮度快速分析，其精度超過了0.8。本研究結(jié)果實現(xiàn)了西蘭花田間多表型參數(shù)的高通量獲取，可以為作物田間長勢監(jiān)測研究提供重要參考。

　　關(guān)鍵詞: 深度學(xué)習(xí)；西蘭花表型；機器視覺；自動分級；田間平臺

　　1 引言

　　西蘭花是十字科一、二年生草本植物，其蛋白質(zhì)含量高并富含多種維生素和多酚類物質(zhì)，具有較高的種植效益和經(jīng)濟價值[1]。中國是西蘭花生產(chǎn)與消費大國，據(jù)“國家西蘭花良種重大科研聯(lián)合攻關(guān)”項目調(diào)研結(jié)果，中國目前種植面積和產(chǎn)量均居世界首位。因西蘭花是選擇性收獲作物，同一地塊上不同個體花球大小及新鮮水平呈現(xiàn)較大差異，如何精確地對每個花球大小及新鮮度進(jìn)行評估，是提高采收效率、保證采收質(zhì)量的關(guān)鍵。過去對西蘭花花球檢測主要依靠人工，即通過農(nóng)藝人員定期在田間對不同個體進(jìn)行花球大小、圓度等參數(shù)測量。但傳統(tǒng)人工田間調(diào)查存在效率低下、主觀性強、不能提供實時數(shù)據(jù)和成本高等問題，影響了西蘭花產(chǎn)業(yè)智能化發(fā)展。

　　2 材料與方法

　　2.1　研究區(qū)域及試驗設(shè)計

　　研究區(qū)域與數(shù)據(jù)采集平臺設(shè)計如圖1所示。試驗所用西蘭花品種為“浙青452”“臺綠1號”和“臺綠2號”，花冠層圖像拍攝于浙江省嘉興市浙江省農(nóng)業(yè)科學(xué)院楊渡科研創(chuàng)新基地（北緯30°27′，東經(jīng)120°25′）。試驗小區(qū)為3個長寬分別為30m和20m的溫室大棚種植區(qū)，西蘭花株距約為30cm，所有田間管理均按照正常水平進(jìn)行，不設(shè)置養(yǎng)分及水分試驗對照組。用架設(shè)在田間移動平臺（FieldScan Pro）上的兩臺高速工業(yè)相機分別從左右兩個方向?qū)ξ魈m花花球進(jìn)行拍攝，拍攝焦距為5mm，鏡頭保持垂直向下距地面約0.8m。拍攝時間為2018年9月15日上午9點至下午4點之間。將兩部相機同步獲取的影像利用尺度不變特征變換（Scale-invariant Feature Transform，SIFT）算法進(jìn)行拼接，得到廣角照片以保證花球結(jié)構(gòu)信息的完整性。

　　2.2　試驗平臺研發(fā)

　　對西蘭花表型信息進(jìn)行提取除了需要對花球部位進(jìn)行準(zhǔn)確定位和分割，還應(yīng)該根據(jù)其頭部“黃—綠”顏色占比對新鮮度進(jìn)行估計。本研究采用由浙江省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)裝備研究所研發(fā)的FieldScan Pro試驗平臺采集模型訓(xùn)練所需彩色數(shù)碼圖片，試驗平臺由田間移動平臺和圖像采集系統(tǒng)兩部分組成。

　　3 結(jié)果與分析

　　本研究試驗環(huán)境為Ubuntu 16.04，操作系統(tǒng)為64位，采用Tensorflow框架。計算機配置為雙GTX-1080顯卡，8GB顯存，內(nèi)存為16GB，處理器型號為Intel(R) Core (TM) i7-8700K，主頻3.7GHz，訓(xùn)練模型均基于Python 3.6.8編寫。

　　3.1　花球分割結(jié)果

　　為進(jìn)一步分析網(wǎng)絡(luò)性能，將改進(jìn)的ResNet與傳統(tǒng)ResNet、GoogleNet以及基于顏色空間變換和閾值分割兩種方法：植被提取顏色指數(shù)（Color Index of Vegetation Extraction，CIVE）和超綠指數(shù)（Excess Green Index，ExG）進(jìn)行比較[28]。其中，CIVE和ExG常被用于植被提取當(dāng)中，通過區(qū)分綠色作物和背景不同的顏色信息實現(xiàn)圖像分割和目標(biāo)提取，計算公式如下。

　?。?）

　　（7）

　　上式中，R、G和B分別表示像素的紅、綠、藍(lán)通道值。各算法的分割結(jié)果和精度評價如圖5和表2所示。

　　3.2　花球新鮮度分析結(jié)果

　　在上述花球分割的基礎(chǔ)上，利用PSO-Otsu算法對得到的花球區(qū)域進(jìn)行二次分割，實現(xiàn)各品種西蘭花新鮮度分析。

　　圖6為西蘭花花球新鮮度統(tǒng)計結(jié)果，（a）-（c）分別代表3個不同品種的新鮮情況?？梢钥闯觯谕火B(yǎng)分水平下“臺綠1號”處于Level 0-2新鮮度下的個體比例最高，表明該品種成熟速率較為接近；而“臺綠2號”新鮮度呈現(xiàn)兩端分布的情況（Level 0占比為26.2%，Level 4占比為30%），說明該品種成熟速率差異性較大。此外，“臺綠2號”和“浙青452”花球發(fā)黃程度較“臺綠1號”偏重，表明這兩個品種在相同養(yǎng)分條件下成熟時間早，變質(zhì)情況嚴(yán)重，對采摘后保存環(huán)境要求高。

　　

　　4 總結(jié)和展望

　　本研究以西蘭花花球作為研究對象，提出了一種基于改進(jìn)ResNet的西蘭花長勢監(jiān)測方法。通過自主設(shè)計的影像獲取平臺得到的西蘭花冠層正射影像進(jìn)行分析，可以準(zhǔn)確提取西蘭花花球并對其新鮮度進(jìn)行判定。本研究主要貢獻(xiàn)如下。

　?。?）基于傳統(tǒng)ResNet架構(gòu)，設(shè)計了適合進(jìn)行西蘭花田間實時分析的改進(jìn)ResNet，通過加入SE模塊減少了網(wǎng)絡(luò)參數(shù)個數(shù)，達(dá)到平衡各特征圖之間的權(quán)重并加快了訓(xùn)練速度的目的。

　　（2）在現(xiàn)有西蘭花分級標(biāo)準(zhǔn)的基礎(chǔ)上，結(jié)合實際蔬菜貿(mào)易需求，提出了一種新的西蘭花新鮮度分級標(biāo)準(zhǔn)。以該標(biāo)準(zhǔn)為依據(jù)，利用基于粒子群模型改進(jìn)的Otsu算法實現(xiàn)了西蘭花球不同顏色區(qū)域面積比估算，將該比值與新的分級標(biāo)準(zhǔn)一一對應(yīng)，從而實現(xiàn)收獲前西蘭花品質(zhì)的判定并為自動采收提供技術(shù)支撐。

　　參考文獻(xiàn)

　　[1] 郭香鳳, 向進(jìn)樂, 李秀珍, 等. 貯藏溫度對西蘭花凈菜品質(zhì)的影響[J]. 農(nóng)業(yè)機械學(xué)報, 2008, 39(2): 201-204.

　　

　　作者：周成全 , 葉宏寶 , 俞國紅 , 胡俊 , 徐志福

《基于機器視覺與深度學(xué)習(xí)的西蘭花表型快速提取方法研究》

上一篇：中國精準(zhǔn)施藥技術(shù)和裝備研究現(xiàn)狀及發(fā)展建議

下一篇：新環(huán)保法視野下的土壤污染防治對策探析