摘要:随着计算机和互联网技术的发展,信息技术已被广泛地应用于植物保护领域,推动农业害虫的监测走向信息化、智能化和精准化。我们综述了农业害虫自动识别与监测技术的最新研究进展,分析了各种技术的特点与优势。这些技术均需要特定的设备获取农业害虫及其生境的信息,提取昆虫信息特征,并利用这些特征进行昆虫种类的识别与计数,达到害虫监测的目的。
图像识别技术适合于自动识别与监测栖息于作物表面的害虫,昆虫雷达(厘达或激光雷达)技术特别适合于自动识别与监测高空中飞行的害虫,而声音识别技术在自动识别与监测隐蔽害虫方面具有优势。最近发展起来的基于深度学习的害虫识别方法避免了传统的手工设计特征方法,提高了害虫识别的鲁棒性,展示了一旦建立完整的昆虫信息库就可以实现害虫自动识别与监测的可能;这给昆虫学家提出了一个艰巨的任务,即鉴定和正确标识机器学习所需的大量的昆虫信息。
关键词:农业害虫,监测技术,图像识别,声音识别,昆虫雷达,深度学习
随着计算机、互联网、物联网及人工智能技术的快速发展,信息技术在植物保护中得到了广泛应用[1-2]。植保基本数据的自动采集技术对植保信息技术的发展至关重要[1]。我国充分利用现代信息技术,在自动化、智能化新型测报工具研发应用及重大病虫害实时监测预警系统建设方面进行了大胆的探索,取得了比较明显的进步[3]。
为了实现农业害虫智能测报,首先需要对害虫进行自动识别与计数。许多学者通过采集害虫的图像、声音和雷达等信号来探讨害虫的自动识别与计数,但由于农业害虫生态环境复杂多变,一些关键技术尚未能取得突破性进展,导致很多害虫测报装备智能化程度低,技术成熟度不高,自动监测环节薄弱,田间害虫数据采集基本上以人工为主,田间害虫调查仍然停留在“眼看、手查、盘拍、网捕”的阶段[3-5]。本文对害虫的自动识别与监测技术的进展进行综述,以期对害虫智能监测设备的研发起到推动作用。
1基于图像的害虫识别
传统的昆虫分类学主要依据昆虫的形态特征区分昆虫种类。自20世纪80年代开始,国内外进行了大量的基于昆虫外部形态图像的昆虫自动分类诊断技术研究[6-9]。昆虫翅的特征是传统昆虫分类学中的重要分类学指标。
早期的昆虫识别研究主要是利用昆虫图像上翅的特征来进行识别与鉴定[10-11],特别是膜翅目、双翅目和鳞翅目的昆虫种类的识别,并开发了相关的识别软件,获得应用的软件有国外的ABIS[12]、DAISY[13]、DrawWing[14]和BugWing[15],国内中国农业大学IPMist实验室在沈佐锐教授的指导下,从1997年开始利用图像处理技术提取昆虫的形态学特征,开发的昆虫识别系统BUGVISUX可实现多种昆虫的分类识别[16-17],取得了较好的识别结果。这种借助计算机技术将昆虫形态学和数学形态学相融合产生了昆虫数学形态学技术[6],该技术需要在设定好的标准环境下进行拍照或扫描昆虫的翅,图片经预处理后根据昆虫形态学特点使用软件手动或自动提取特征值,然后再分析特征值在种类间的变异程度,最后建立计算机算法区分昆虫种类[10,18-20]。
利用翅的特征进行图像识别需要把昆虫的翅剪下,鳞翅目昆虫需要去鳞操作,并且在标准的拍摄环境下拍照或扫描,其应用在农业生产实践中受到很大的限制[21]。在农业害虫测报中,一般需要对农业害虫的整体进行识别[22-23],因此很多学者开始研究基于图像的昆虫自动识别。
一般基于图像的昆虫识别技术主要包括背景分割、特征提取和分类模型的训练和测试。昆虫准确识别的前提是提取出图像中的昆虫区域。由于昆虫图像来源不同,其背景千差万别。应用于昆虫图像分割的方法主要包括基于灰度直方图的分割、基于数学形态学的分割、基于区域增长的分割、基于边缘的分割、基于综合图像信息的分割、基于GrabCut的分割、显著性分割等[24-25]。特征提取的好坏,影响害虫的识别结果。目前,应用于昆虫识别的特征主要包括全局特征[26]和局部特征[27-28]。
其中,害虫全局特征主要包括如颜色特征[9]、形态特征[29-30]和纹理特征[27]等、局部特征主要包括SIFT[27]、HOG[27-28,31]、LBP[31]、PCBR[32]等或多特征融合[33](如BOW技术[27,32]、稀疏编码技术[34]等)。利用昆虫特征向量训练的分类器主要包括支持向量机[9,27,31]、神经网络[29,35-36]、MKL[34]、K-NNC[27]、K-means[37]等。
在有限种类的农业害虫小样本图像集中,手工设计特征,训练和测试分类器,一般均能获得较高的准确率。然而,面对生物多样性(害虫存在不同姿态、种间变异和类间相似,以及大量的非目标昆虫干扰等)和复杂背景条件下,传统的模式识别方法鲁棒性不高,泛化能力差[8,23,38]。这也是基于图像的农业害虫识别方法并没有真正应用到农业害虫测报中的主要原因。近几年,随着人工智能的发展,深度学习在语音识别、自然语言处理、图像与视频分析等诸多领域获得了巨大的成功。
目前,深度学习几乎是唯一的端到端机器学习系统,深度学习方法中的卷积神经网络(convolutionalneuralnetwork,CNN)在大规模图像识别任务中表现出色[39],与传统模式识别方法最大不同在于它从图像中自动逐层提取特征,可以包含成千上万的参数。
最近有学者利用显著性分割方法定位害虫,然后建立CNN模型对自然环境下拍摄的12种水稻害虫进行识别,准确率高于传统方法[9];也有学者利用CNN和Adaboost分类器模型对水稻基部飞虱进行检测与分类识别,实现了稻飞虱田间调查的智能化[40]。还有学者利用CNN和滑动窗相结合的方法对性诱剂粘板上的害虫图像进行检测,获得了较好的结果[41]。
2基于声音的害虫识别
很多昆虫能通过专门的发生器(或翅)的振动(或摩擦)、走动、叩击或咀嚼发出声音或鸣叫[42-43]。不同种类的昆虫所发出的声音大不相同,因此可以根据声音鉴别昆虫的种类和进行昆虫群落生物多样性和丰富度的监测[42,44-45]。
同种昆虫可以通过声音进行通讯,不同的声音有不同的作用,如求偶、竞争、攻击、联络、报警、定位等[42-43]。根据昆虫求偶的声音可以人工合成求偶声或求偶应答声引诱雄虫,这种方法可以有效地提高对雄蚊的诱捕量或干扰雄性柑橘木虱定位雌虫从而降低交配率[46-47]。同种不同地理种群鸣声的细微差别[48],雌虫交尾后不再鸣叫的特性,以及同一个体不同虫龄鸣声的差异,可用于害虫迁飞规律的研究[42]。
声音监测技术比谷物取样早3~28d发现谷物害虫,比切开检查更有效和更可靠地检测到加勒比果蝇和棉红铃虫,和准确检测到需要防治蛴螬的地块,因此在监测仓储害虫、隐藏在果实(或树木)内部的害虫和地下害虫时具有明显优势[49]。昆虫发出的声音有的通过空气传播,我们可以听得到,有的通过其他介质传播,我们听不到[43]。听得见的声音可以使用录音机、连接麦克风的电脑或手机记录下来,而听不到的声音则需要通过灵敏的传感器(或拾音器)把振动记录下来[43,50-54]。
记录下来的昆虫声音进行去噪处理后,使用Matlab、DAVIS、Raven和CSL-4300B等计算机软件进行信号分析并提取其特征参数[43,50-52,54-56]。声音信号的特征参数提取有时域分析法、频域分析法(频谱分析或谱估计)[57-59]。
时域分析法可获得脉冲持续时间、脉冲间隔、脉冲率、脉冲组、脉冲组持续时间、脉冲组间隔、脉冲组率等昆虫鸣声的时域特征参数。由于波形易受噪声干扰,尽管声音听起来有明显差别的昆虫,有时也难以用时域特征参数区分[57]。对信号作频谱分析,可了解声音信号的频率成分、带宽、主能峰频率、能量分布等[57]。
传统的线性谱估计法将声音的时域信号经快速傅立叶变换得到频谱图,选取较大的频谱值作为特征参数[60-61],或进一步滤波得到摩尔频率倒谱系数参数MFCC作为特征参数[56,62]。自回归模型(autoregressivemodel,简称AR模型)是一种常用的非线性现代谱估计方法[58],与传统谱分析法相比,谱线光滑,且分辨率高,能够有效地提取昆虫鸣声的特征参数[57]。由于频谱分析需要大量复杂计算占用计算机大量的资源,于是出现了现代时域信号编码(timedo-mainsignalcoding,TDSC)技术[45]。
TDSC技术的原理是任何一个带限信号都可以分解为一系列在平衡点(0点,即信号振幅的平均值)上下的时间信号单元(epoch)组成,在平衡点之上的为正时间信号单元,在平衡点之下的为负时间信号单元。时间信号单元很容易通过时域相邻两点的值的正负变化确定。每一个时间信号单元具有时间区间D(durationoftime)和形状S(shape)两个特征。
形状1(S=1)代表时间信号单元具有1个谷2个峰,形状2(S=2)代表2个谷3个峰,依次类推。一个特定信号的D-S组合即自然字母表(naturalalphabet)是独一无二的,在此基础上可以提取S矩阵和A矩阵作为特征用于声音的自动识别[45]。使用这种特征和人工神经网络成功在自然环境中自动识别出4种目标蝗虫而且能区分鸟鸣和人为制造的声音[63]。
现有的方法都需要提取大量时域或频域特征参数,用这些参数或两者的混合参数[59]训练分类树、贝叶斯分类器、人工神经网[45,61,63]、BP神经网络[56]、支持向量机[58,60,64]、混合高斯模型[62]等后对昆虫进行自动识别[65]。虽然这些技术在许多种类昆虫的自动分类上取得了很高的识别率,但在现实世界中,昆虫都是生活在带有背景噪声的自然环境中,另外,同种昆虫还存在雌雄、龄期、求偶、竞争、报警等差异,将昆虫从混有噪声背景的声音信号中分离并检测出来仍然具有很大的挑战[61]。
由于现有技术需要仔细地调谐许多参数并且需要大量的训练数据,对于简单的野外探测传感器来说过于昂贵的计算资源耗费,仅适用于一小类物种,分类结果不够正确,而不能广泛应用,一种利用视觉空间分析声音的方法应运而生[65]。这种方法把声谱图的纹理特性作为一种“指纹”并引入最近出现的无参数纹理测量作为距离测量,使用其在速度和准确率上均超出其他方法[65]。
简单来说就是把声谱转换成二维图像,通过将标记好的声谱片断的图像在未知声谱图像上移动并计算相似性来确定二者的距离,并根据这一距离来进行分类。这一技术是由MPEG压缩技术思想而来的,有非常成熟的算法,因此计算速度非常快,而且不需要提取任何特征参数,因此在声音自动识别中具有广泛的应用前景[65]。
3基于雷达(或厘达)的害虫识别
昆虫雷达是利用电磁波探测空中自由飞行昆虫的一种卓越工具[66]。扫描昆虫雷达能监测昆虫密度和飞行速度、方向、成层、定向等参数,但由于昆虫存在于雷达波束中的相对位置及昆虫的姿态均无法确定,因此无法区分昆虫的种类[67]。垂直昆虫雷达发射3.2cm波长的电磁波,并通过旋转极化设计实现昆虫的体型参数、质量、昆虫振翅频率的自动提取[67],从而把蝗虫、瓢虫、半翅目昆虫、银Y夜蛾、小菜蛾、草蛉、步甲区分开来,并对其迁飞活动进行自动监测[69-73]。
但对于体型、质量和振翅频率相似的昆虫,如不同种类的蝗虫或大小相似的夜蛾,就无能为力了[70,73]。毫米波昆虫雷达由于使用了波长更短的8.8mm的电磁波,可以探测到更小的昆虫,如稻飞虱[74-75],但其扫描工作模式决定了它无法区分昆虫种类。激光雷达把辐射源的频率提高到光频段,比毫米波高出两到四个数量级,这使之能够探测更微小的自然目标[69,76]。最早使用激光雷达探测昆虫是为了借助经过训练的蜜蜂(能嗅到爆炸物散发出的气味,从而在未爆炸的地雷上方产生聚集)找到未爆炸的地雷[77-79]。
最简单的被动接收式激光雷达是一种简单、轻便、廉价的被动遥感的暗场光谱学装置,它包括暗箱和望远镜及与其相连的光谱采集设备。将望远镜对准远处的暗箱得到一个低亮度水平的基线,当昆虫在望远镜的视野中飞过时它散射的太阳光的光学信息就被连接到望远镜的记录系统采集到[80]。
这种装置可以探测到几十米外昆虫的反射光谱,解析出昆虫的振翅频率[80],根据光谱信息可以将自由飞行的两种豆娘及不同性别区分开[81]。这种装置依赖太阳光作为光源实现昼出性昆虫的识别与监测,在夜间需要使用光源照明才能进行探测[80]。但一般的夜出性昆虫都具有趋光性,如果使用光源照明将影响昆虫的行为,引起昆虫的聚集。
专门设计的激光昆虫雷达可以探测到昆虫目标,并测定其距离、大小和振翅频率[78,82-83]。由于昆虫不同体位对准激光雷达反射率会发生很大的变化,因此激光昆虫雷达无法根据反射率推算昆虫的个体大小[83-84]。多波段激光昆虫雷达通过对808nm和1550nm背向散射光的共偏振和去偏振测量,可获得线性偏振程度、振翅频率、反射率、谱率、光泽度等参数[84]。
身体和翅的谱率和光泽度与昆虫身体和翅表面的微结构和黑化特性有关,与体位无关,可以用于区分昆虫的种类[84]。激光还可以激发昆虫产生荧光,不同昆虫受激光激发产生的荧光光谱不同,荧光激光雷达可以探测到这种差别并用于区别昆虫的种类[85-88]。与图像识别和声音识别技术相比昆虫雷达技术还停留在利用简单特征识别昆虫的阶段,急需引入模式识别技术提高昆虫种类的识别能力。
4讨论
本文对利用图像、声音以及昆虫对电磁波的反射(或散射)特性自动识别昆虫的技术的最新进展进行了综述。由于光谱遥感监测技术是利用寄主植物被害后反射光谱发生变化的特性实现对虫害的监测[89-90],不直接识别害虫的种类,红外计数装置只对害虫进行计数不涉及种类识别[91],因此未在本文中进行综述。三种技术的不同之处在于利用了昆虫的不同信息及其各自的优势。
昆虫雷达在远距离识别空中昆虫方面有优势;图像识别在近处识别作物表面的昆虫方面有优势;声音识别在识别隐蔽昆虫方面有优势。三种技术的共同之处是均需要获取害虫及其所处环境的完整信息、分析这些信息提取出能代表害虫特征的参数、根据特征参数直接分类或使用模式识别技术进行分类。
使用什么样的技术对昆虫信息进行采集决定了使用什么技术对昆虫进行识别。利用在室内标准环境下采集的害虫图像或声音信息所研发出来的自动识别技术只能对特定试验条件下的昆虫进行识别,应用于田间复杂环境下则识别效果很差。昆虫雷达由于对着天空取样,通常其背景相对简单(偶尔也会受到电磁波、降雨、鸟、飞机等的干扰),从其诞生之日起就一直用于野外昆虫监测实践[66,92],但其价格昂贵,应用受到一定限制。
发展价廉、轻便、简单易用的害虫自动识别与监测技术与装备是今后的发展方向。虫情测报灯(或黑光灯)是我国害虫测报实践中普遍使用的工具,随着技术的进步已实现了自动开关灯、虫体远红外处理、自动拍照和上传昆虫照片等功能[4,93]。
灯下昆虫图像拍摄背景单一容易识别且易于实现与我国现有监测网络衔接实现标准化,值得深入研究。近些年,随着移动互联网技术的发展,移动便携设备的开发使用已然成为主流。智能手机可以拍照也可以录音,已成为图像自动识别[31,94]和声音自动识别[95]的新载体。智能手机还具有定位功能和实时监测功能,因此可以建立起目标害虫的全球分布和时实动态图[95]。
与性诱捕器配合使用的红外自动计数技术在我国也进行了试验与改进,可以对特定种类的昆虫进行自动监测,但其使用效果与信息素的质量及应用环境有关[91,96]。国外利用红外探测技术研发了记录昆虫振翅频率的便携设备,可以实现昆虫种类的自动识别和监测[97-98],是一个新的可探索的方向。尽管昆虫的自动识别与监测技术近年来得到了快速发展,但由于昆虫种类繁多、虫态及其生活环境复杂多变,尚难以在较短时间内建立一个可以较为广泛地实施识别和监测众多昆虫的应用系统[8]。
伴随人工智能的快速发展,昆虫的图像识别技术也是本文所综述的三项技术中发展最快的技术,尤其是深度学习应用于自然环境中昆虫的自动识别取得成功为复杂农田环境下昆虫的自动识别带来新的希望。但深度学习最大的缺点是要利用大量的标定过的数据进行机器学习,没有这些数据深度学习就无能为力了。
目前国内外关于农作物害虫图像识别的研究,都是针对相应的研究目标来构建简单的害虫图像数据集,截至目前还没有农作物害虫的标准图像数据集可供使用。由于缺少底层的数据支持,因此制约了农作物害虫图像识别的发展[99]。由于智能手机的普及和物联网的推广,采集海量的昆虫图像和声音数据已不是难事,但对这些海量数据进行分类和正确标识却不是那么简单。长期以来在害虫的自动识别与监测方面的主要进展基本上都是由计算机、人工智能、信息技术等方面的专业人员完成的。
昆虫学家只在这个过程中提供标本的正确标识。随着人工智能技术尤其是模式识别技术的成熟,接力棒将交到昆虫学家手里。虽然从网上可以轻而易举地获得成千上万张某种害虫的图片,但这些图片的标识存在许多错误,在利用这些图片训练计算机之前必须经过专家的甄别和正确标识[9]。由于昆虫种类繁多、具有不同的虫态、为害和生存环境多样,另外图像可能只反映昆虫的某个侧面,声音可能只反映昆虫在某个时期的特征,昆虫雷达的信息采集自高空自由飞行的昆虫,要对大量的常见的害虫信息进行甄别和正确标识并不是轻而易举的事。
参考文献
[1]程登发.我国植保信息技术的发展与展望[J].植物保护,1998,24(2):33-36.
[2]黄冲,刘万才.我国农作物病虫测报信息化发展进程、现状与推进思路[J].中国植保导刊,2018,38(2):21-25.
[3]刘万才.我国农作物病虫害现代测报工具研究进展[J].中国植保导刊,2017,37(9):29-33.
[4]刘万才,刘杰,钟天润.新型测报工具研发应用进展与发展建议[J].中国植保导刊,2015,35(8):40-42.
[5]封传红,王胜,马利,等.构建四川“智慧测报”体系的探索与实践[J].中国植保导刊,2016,36(8):74-78.
[6]沈佐锐,于新文.昆虫数学形态学研究及其应用展望[J].昆虫学报,1998,41(S1):142-150.
[7]WHITERJ,WINOKURL.Quantitativedescriptionanddis-criminationofbutterflywingpatternsusingmomentinvariantanalysis[J].BulletinofEntomologicalResearch,2003,93(4):361-374.
[8]姚青,吕军,杨保军,等.基于图像的昆虫自动识别与计数研究进展[J].中国农业科学,2011,44(14):2886-2899.
[9]LIUZiyi,GAOJunfeng,YANGGuoguo,etal.Localizationandclassificationofpaddyfieldpestsusingasaliencymapanddeepconvolutionalneuralnetwork[J/OL].ScientificReports,2016,6:20410.DOI:10.1038/srep20410.
[10]蔡小娜,黄大庄,沈佐锐,等.蛾翅翅脉特征在夜蛾昆虫数学分类学中的应用[J].中国农业大学学报,2015,20(5):188-193.
[11]潘鹏亮,杨红珍,沈佐锐,等.翅脉的数学形态特征在蝴蝶分类鉴定中的应用研究[J].昆虫分类学报,2008,30(2):151-160.
推荐期刊:《吉林农业大学学报》Journal of Jilin Agricultural University(双月刊)1979年创刊,是综合性农业学术期刊。以反映作物栽培、植物保护、土壤与植物营养、农业化学、农业应用物理、果树、蔬菜、园林、药用植物、贮藏加工、农牧业经济管理、农业机械化、农业工程技术等专业的科研成果和开展学术交流为主要任务。
* 稍后学术顾问联系您