第26卷 增刊2 农 业 工 程 学 报 Vol.26 Supp.2 366 2010年 12月 Transactions of the CSAE Dec. 2010
基于机器视觉的番茄内部品质预测
张亚静1,Sakae Shibusawa2,李民赞1※
(1. 中国农业大学现代精细农业系统集成研究教育部重点实验室,北京 100083;
2. 东京农工大学农学部,东京 183-8509)
摘 要:为了实现番茄内部品质的实施快速检测,利用机器视觉技术,从“定性”和“定量”两方面进行了番茄内部品质预测方法的研究。首先设计开发了番茄图像采集机器视觉系统,可分别从3个不同高度:0.5、1、1.5 m和6个不同方向:上、下、左、右、前、后采集番茄图像。视觉系统利用4个卤素灯作为光源,内部亮度恒定为600 lx。然后收集了68个不同生长阶段的番茄样本,样本根据是颜色从未成熟阶段(绿色)到成熟阶段(红色)被分为了5个等级。在利用开发的机器视觉系统采集了番茄样本的图像之后,通过RGB色彩模型、L*a*b*色彩模型和灰度共生矩阵(GLCM)计算番茄图像特征值,并将其输入BP神经网络,对糖度、酸度、氨基酸含量和水分含量共4种番茄内部品质进行预测。在“定量”预测中,分别建立了每种内部品质的预测模型。结果表明,酸度与图像特征之间的相关系数最高为0.536,定量预测精度还有待进一步提高。在“定性”预测中,利用BP神经网络,通过番茄内部属性含量的不同组合值预测番茄生长阶段,对隐层节点数和训练函数这两个重要的网络参数进行优化。试验中使用40个样本作为训练集建立模型,使用28个样本作为测试集,其中22个样本预测正确,结果表明利用机器视觉方法预测番茄内部品质具有较好应用前景。 关键词:农产品,神经网络,图像处理 doi:10.3969/j.issn.1002-6819.2010.z2.069 中图分类号:TP391.41 文献标识码:A 文章编号:1002-6819(2010)-Supp.2-0366-05
张亚静,Sakae Shibusawa,李民赞. 基于机器视觉的番茄内部品质预测[J]. 农业工程学报,2010,26(Supp.2):366-370. Zhang Yajing, Sakae Shibusawa, Li Minzan. Prediction of tomato inner quality based on machine vision [J]. Transactions of the CSAE, 2010, 26(Supp.2): 366-370. (in Chinese with English abstract)
0 引 言
随着果蔬商品日益规范化,其进入市场流通时必须
要通过分级、包装、装箱等多个流水线环节才能完成。
流水线能否保证产品质量,关键在于是否能正确快速的
判别果蔬品质[1]。对大多数农产品来说,产品表面特征(颜
色特征、纹理特征等)与产品内在品质有着极其密切的
关系,农产品的表面特征已成为评价其内在品质的一个
重要指标[2-4]。评价农产品内在品质的方法有很多:化学
方法、超声波[5]、电子鼻[6]、机器视觉[7-8]、近红外光谱
(NIR)[9-10]等,其中,机器视觉和近红外光谱是两种最为
常用的非破坏性检测方法。近红外光谱法快速、准确,
但是设备造价高。机器视觉法造价低、速度快,适用于
在线分级系统,但目前研究大多集中在利用机器视觉来
预测果蔬的外部品质,包括大小、形状和损伤部分等等,
对于内部品质的预测研究较少,因此对测试内部品质而 收稿日期:2010-09-10 修订日期:2010-10-18 项目基金:国家自然科学基金(30871453;U0931001) 作者简介:张亚静(1981-),女,汉族,河北,博士研究生,研究方向:精细农业系统集成。北京 中国农业大学(东校区)125信箱,100083。 Email: pact@cau.edu.cn。 ※通信作者:李民赞(1963-),男,汉族,河北,教授,博士,主要研究方向:精细农业系统集成。北京 中国农业大学(东校区)125信箱,100083。Email: limz@cau.edu.cn 言仍是一种较为新颖的方法。本文以番茄为例,根据其
外部特征(颜色特征和纹理特征),利用BP神经网络,
从“定量”和“定性”两方面,对于影响其口感的4种
重要内部品质:糖度、酸度、水分含量以及氨基酸含量
进行预测。所谓“定量”预测,是指对于上述4种内部
属性,分别建立一个模型进行预测。另一方面,对于处
于不同生长阶段的番茄来说,以上4种内部属性的含量
也各有不同,即不同属性含量的组合值可以表示番茄正
处于不同的生长阶段。因此可建立一个模型,根据番茄
样本的不同特征组合值来预测番茄的生长阶段,后一种
分析被称为“定性”预测。
1 材料与方法
1.1 机器视觉系统设计与开发
要利用机器视觉方法预测番茄内部属性,首先要搭
建一个便于采集番茄测试图像的机器视觉系统。由于图
像采集过程对光线非常敏感,因此要求视觉系统内部光
照强度稳定。图1即为设计开发的番茄图像采集专用机
器视觉系统。该视觉系统由1台笔记本电脑,4个卤素灯
(Philip,12V50WAKW/5-1),1个CMOS摄像机(ARTARY,
Japan)和1个支架组成。
如图1所示,4个卤素灯被安装在一个可移动的隔板
上,便于获取不同距离(指摄像机和目标果蔬之间的距
离)的番茄图像,可用于分析果蔬在图像中的面积与测 增刊2 张亚静等:基于机器视觉的番茄内部品质预测 367
图1 机器视觉系统构造示意图 Fig.1 Design model of machine vision system 试距离的关系,而果蔬图像面积和产量大致呈正比,因此
未来可尝试果蔬测产等相关研究。同时系统支架外部使用
一块黑色不透光的幕布遮盖,可阻挡大部分外部光线进入
系统内部,而且布面并不光滑,不会发生强烈的反射现象。
经过光度计测量,系统内部亮度基本恒定在600 lx。试验中
分别从3个高度(0.5、1、1.5 m)和6个不同角度(上、
下、左、右、前、后)采集番茄图像,然后使用1台笔记
本电脑(Inter 1.80G)来分析图像并计算其各种图像特征。
图像分辨率是512 pixels×512 pixels,格式是BMP,使用
MATLAB v6.5和Visual C++6.0混合编程对图像进行处理。
1.2 试验图像获取
供试番茄品种为桃太郎。试验中共采集了5个不同
生长阶段的番茄样本共68个,各阶段的样本数量如表1
所示。因为处于不同的生长阶段,因此其颜色和质量都
各不相同,特别是颜色,从未成熟阶段到成熟阶段,颜
色明显从绿色变到红色。
表1 不同生长阶段的番茄样本数量 Table 1 The amount of tomato samples in different growing stage
生长阶段 1 2 3 4 5
样本数量/个 13 14 14 14 13 试验中共获取番茄图像1 224张。图2是其中一个采
集样本示意图。
图2 采集样本示意图 Fig.2 Tomato sample 如图2所示,虽然支架已用黑色不透光幕布遮盖,
外部光线不会进入系统内部。但是因为系统本身选用了4
个卤素灯,这种情况下还是会出现亮斑,如区域A所示。
为了防止亮斑影响识别效果,可选取整个图像的一部分
参与计算。因为番茄表面区域中不同位置的图像特征差
别不大,所以选中其中一部分样本来参与运算不影响计
算结果,并且因为需要运算的面积缩小,还可减少计算
时间。选取原则是随机选择番茄表面非亮斑处表皮即可。
本试验中选取样本图像的边长D=80 pixels(见图2),样
本的特征值是所有像素特征值的平均值。
1.3 化学试验
该化学试验主要用来测量番茄的糖度、酸度、氨基
酸含量及水分含量这4种属性的真实值。分别通过测量
体积、获取图像、番茄破碎、测试氨基酸含量、测试水
分含量、测试酸度和测试糖度共7步实现,测试具体结
果如表2所示。试验结束后,将化学试验测试的真实结
果(内部品质)和利用算法分析得出的计算结果(外部
特征)进行相关性分析。
表2 番茄各种属性实测值 Table 2 Real values of tomato inner quality
质量/g 大小/cm 糖度/°Bx 生长阶段 最大值 最小值 平均值 长度平均值宽度平均值高度平均值最大值 最小值 平均值
1 161.72 130.24 152.42 5.2 5.3 4.8 6.32 4.90 5.48 2 167.31 152.14 158.94 5.7 5.6 5.2 6.30 4.67 5.54 3 171.34 162.17 166.34 6.3 6.3 6.1 6.07 4.80 5.50 4 173.41 162.45 169.39 7.1 6.9 6.7 7.20 5.10 5.79 5 182.14 169.32 176.81 7.5 7.5 7.4 6.90 5.10 5.96
酸度/K 氨基酸质量分数/ (mg·kg-1) 水分质量分数/ (g·kg-1) 生长阶段 最大值 最小值 平均值 最大值 最小值 平均值 最大值 最小值 平均值
1 0.47 0.33 0.39 2210.47 296.21 1059.25 95.17 93.61 94.45 2 0.45 0.25 0.35 3328.41 816.52 1370.75 95.32 93.46 94.35 3 0.38 0.27 0.34 1334.84 409.63 872.32 95.32 93.99 94.58 4 0.41 0.31 0.34 4112.26 506.14 1130.23 95.08 92.84 94.33 5 0.50 0.29 0.36 4807.71 390.71 1690.70 95.22 93.35 94.17 注:酸度单位K为中和1 mmol/L NaOH所使用酸的克数。 农业工程学报 2010年 368
从表2可以看出,随着番茄越来越成熟,番茄的平
均糖度值也呈上升趋势,说明该品种番茄越成熟,口感
越甜;而酸度值呈下降趋势,尤其是第1阶段和第2阶
段之间,酸度值下降比较明显,但后4个生长阶段变化
不大;氨基酸含量和水分含量变化不大,但呈现相反的
变化趋势。在不同的生长阶段,番茄内部属性值也各不
相同。因此,可根据番茄内部属性含量值的不同组合来
预测番茄的生长阶段。
1.4 算法设计
获取番茄样本图像后,首先分析计算该图像特征,
然后利用BP神经网络模型,预测番茄的内部属性。这里
的图像特征主要指番茄的外部特征,也即其表面颜色特
征和纹理特征。利用RGB色彩模型和L*a*b*色彩模型分
析其颜色特征,共R、G、B、L*、a*、b* 6种特征。番
茄表面光滑,但仔细观察,仍有一些微小的白色斑点,
这是番茄的纹理特征。利用灰度共生矩阵来提取对比度
(CON)、熵(ENT)、相关性(COR)和能量(ASM)4种纹理特
征[11]。分别计算样本图像的10种图像特征值,使用两种
方法讨论番茄外部特征和内部品质之间的相关关系。
1.4.1 直接相关性分析
使用excel进行直接相关性分析。分别计算R、G、B、
L*、a*、b*、ASM、CON、COR和ENT共10种图像特
征值,然后利用excel讨论以上计算值和化学试验中测得
的真实值之间的相关关系。
1.4.2 利用BP神经网络模型分析
使用BP神经网络模型对番茄内部特征进行预测。
将所有样本分为2部分,其中40个样本作为训练集,
另外28个样本作为测试集。结果中表示的精度均为检
验精度。
A.“定量”预测
对于4种内部属性,分别建立模型进行预测。将番
茄样本的10种图像特征值作为输入节点,每个模型输出
节点只有一个,就是预测的4种属性之一。隐层的节点
数根据经验公式计算得出:
0.5()()2iopnnnhn+=+ (1)
式中,ni为输入层的个数;no为输出层的个数;np为[1,10]
之间的常数。根据公式(1)得出隐层接点数为6。为了
便于分析算法性能,同时测试了隐层节点数为3和隐层
节点数为9的情况。
此外,还测试了从输入层到隐层的传递函数TF1和
从隐层到输出层的传递函数TF2对算法的影响。TF1和
TF2均可以取正切S型传递函数“tansig”、线性传递函
数“purelin”、对数S型传递函数“logsig”3种传递方
式,因此共有6种不同的组合形式需要讨论。
B.“定性”预测
使用BP神经网络对番茄的成长阶段1~5进行预测。
输入节点是番茄的10种特征值。输出节点有1个,为数
字1-5,代表预测出的番茄生长阶段。和“定量”预测算
法同样考察了不同的隐层节点数和不同的传递函数对算法的影响。
2 结果与讨论
2.1 直接相关性分析结果
相比较于1 m和1.5 m,在0.5 m处获取的图像颜色
特征和纹理特征更加明显,所以选用0.5 m处获取的图像
来分析各种图像特征。分析了4种内部品质和10种特征
值的相关关系,只有a*特征和酸度值的相关系数R值最
高,为0.3446,其余R值都相当低。这说明利用颜色特
征和纹理特征直接分析番茄内部品质可行性差。
2.2 BP神经网络模型计算结果
2.2.1 “定量”预测
2.2.1.1 不同隐层节点数对算法的影响
表3是不同的隐层节点数对预测结果的影响。
表3 不同隐层节点数对预测结果的影响 Table 3 Results with different hidden nodes in quantitative analysis
隐 层 节点数 糖度 氨基酸质量分数 酸度 水分质量分数
3 0.007 0.059 0.447 0.016 6 0.235 0.168 0.489 0.010 9 0.084 0.070 0.083 0.094
从表3可看出,使用BP算法时,整体相关性有明显
提高。特别是酸度,从直接相关性0.3446提高到了0.489。
通过观察隐层节点数,发现当隐层节点数为6时取得最
好结果:糖度、氨基酸含量、酸度的预测精度分别为0.235、
0.168和0.489,水分含量的最优结果出现在隐层节点数
为9时。但总体来说,除了酸度含量,其他预测精度都
较低。
2.2.1.2 不同传递函数对算法的影响
算法还测试了输入层、隐层、输出层之间的不同传
递函数对算法的影响。表4是不同的传递函数对预测结
果的影响结果。
表4 不同传递函数对预测结果的影响 Table 4 Results with different transfer functions in quantitative analysis
TF1TF2糖度 氨基酸质量分数 酸度 水分质量分数
T P 0.209 0.118 0.483 0.129
T L 0 0.010 0.515 0
L P 0.111 0.098 0.536 0.119
T T 0 0 0.298 0
L L 0 0 0.347 0
P P 0.291 0.292 0.544 0.257
注:TF1: 输入层与隐层之间的传递函数,TF2: 隐层与输出层之间的传递函数。P: purelin函数;L: logsig函数;T: tansig函数。
从表4可以看出,使用不同的传递函数,算法的预
测结果也有差别。当TF1取“logsig”,TF2取“purelin”
时,算法效果最好,尤其是酸度,预测精度达到0.536。
但糖度、酸度和水分含量的预测精度并不高。