当前位置:文档之家› 近红外建模与模型评价 (2)

近红外建模与模型评价 (2)

• 实验室化学分析的准确度 • 代表性样品的收集 • 光谱的信噪比 • 光谱信息的代表性 • 环境与样品前处理 • 模型优化的条件 • 包括:谱区的选择、光谱预处理方法和
得分因子的维数等。
化学计量学方法在近红外光谱中应用
• 光谱预处理和波段的选择方法: 包括傅立叶变换(Fourier transform)、 卷积(Convolution)、去卷积 (Deconvolution)、微分(derivative)处理以 及相关系数法、遗传算法(GA)等方法, 对光谱进行平滑处理和基线校正,以及 光谱波长范围的优化。如近期的移动窗 偏最小二乘回归法。
• 偏最小二乘法(Partial Least Square, 缩写为 PLS)
• 拓扑学方法和人工神经网络方法(Artificial Neural Net,缩写为ANN)等等。
化学计量学方法用于近红外光谱中,使 近红外的独特优势得到了充分发挥。
• 化学计量学已经成为近红外光谱分析中的不可或缺的重要组成部分。 主成分分析和偏最小二乘是经典的化学计量学方法,也是在近红外光 谱分析中最常用的方法。
建模常用化学计量学方法
• 多元线性回归(Multivarate Linear Regression, 缩写为MLR)
• 主成分分析(Principle Component Analysis, 缩写为PCA)
• 主成分回归(Principle Component Regression,缩写为PCR)
• PCA是在近红外定性和定量分析中都常用的方法,其主要目的是数据 降维,以消除近红外光谱信息中相互重叠的部分,是将光谱数据向协 方差最大方向投影,得到最大限度反映被测样品的组成和结构信息的 新变量,但由于投影过程与因变量不相关,一般预测精度不很高。
• 用PLS建立模型,可以利用全部光谱的信息对样品进行分析,将光谱 矩阵的分解和回归交互进行,由于光谱的非线性会导致过拟合,因此 在近红外光谱的应用有时会受到限制。
结果的精度可能变差;模型适用范围小时,分析结 果的精度相对较高,但适用面变窄。
对样品物化性质的测定
对于人工合成样品,比较简单 对于复杂的天然产品,必须选用被大家接受
权威的分析方法。 模型预测结果的准确性在很大程度上取决于
标准测量结果的准确性。 用多次分析结果的平均值来降低误差
影响近红外分析结果准确性因素
正确 不正确
检测结果 是否正确
仪器及操作 是否正确
不正确 检修仪器
正确
样品是否 为界外点
不是 检查分析方法
校正模型训练集样品的选择
尽可能要覆盖待分析样品的范围 对于待测的物化性质,样品应均匀分布 样品的基底应相同(如PH值或水分) 若各组分间相互反应,要注意光谱采集合采集瞬间
的组成变化 包括尽可能多的有代表性的样本 样本变化范围越大,模型的适用范围越宽,但分析
SVM分类器
f
(x)
sgn
n
ai*
yi
K
(
xi
,
x)
b*
i1
NIR建模中的化学计量学方法研究
❖ 建模方法 • PLS、SVR、consensus modeling
❖ 光谱预处理 • 背景扣除、数据压缩 —— 小波变换(WT) • 变量筛选 / 波长筛选 —— WT-UVE、WTIPOW
建模方法研究
❖ 基于SVM的近红外定性建模方法
提出了将近红外光谱技术(NIR)和基于统计学习 理论的支持向量机(SVM)相结合,来建立识别合格/ 劣质奶粉的近红外定性模型。实验结果表明应用SVMNIR建立判别奶粉安全定性分析模型的方法是可行的, 这将为奶粉安全判别分析提供了一种更为便捷,无损 的绿色分析技术。
• 光谱预处理和波长优选方法在近红外光 谱分析技术中是相当重要的.
近红外光谱定性和定量校正方法:
• 主成分分析(PCA)、 马氏距离(MD)、聚 类分析(CA)、多元线性回归(MLR) 、偏 最小二乘法( PLS) 、人工神经网络(ANN) 和 拓扑( Topological) 方法,以及最近提出的支 持向量机(Support vector machine)等。 目的在于利用这些化学计量学方法建立稳定 、可靠的定性或定量分析模型,以对近红外 光谱进行快速、实时的定性定量分析
3. 用于建模定标的样品的化学值的准确程 度。
检测
• 精度 = 重复性 •准确度 = 达到真值的能力
精度高 准确性高
精度高 准确性差
精度差 准确性差
不同实验室比较
0.7
0.65
0.6
0.55
0.5
0.45
0.4
1
2
3
4
5
6
7
8
9
10
11
12
资料来源: CCFRA 合作研究项目, 1997
什么是校准
联系方式
• 倪勇: M: 13901183005

E-mail: niyong@

MSN: ni_yong_2006@

QQ:609293453
校准 = 教会仪器
• 近红外光谱定量分析技术又称“黑匣子” 分析技术,是一种间接的测量方法,即通 过对样品光谱和其质量参数进行关联,建 立预测模型,然后通过预测模型和未知质 量参数的样品光谱来预测样品的组成和性 质。
• 将支持向量机用于近红外光谱可有效地改善过拟合现象,而且它允许 高维数据作为输入矢量,可以很好地解决温度等变量引起的光谱非线 性变化问题。
• 因此,对于每一种化学计量学方法而言,都有各自的长处和短处,在 用于近红外光谱时可能受到某些限制。目前已有研究者将这些方法相 互结合,取长补短,再将其应用于近红外光谱分析技术中。
描述特定近红外波长光的吸收特性和样品组 成之间的关系。
Y = C0 + C1*A1 + C2*A2 + … + Cn*An
红外光谱定量分析流程
光谱定量分析流程
收集样品
测定全部样品的物化性质
测定全波长谱图
对光谱必要的处理
选择校正集
选择验证集
建立多元回归模型
对模型进行评价
日常分析
加入界外点 是 重新建模
• 近红外是间接检测 • 必需校准 • 必需有参考分析方法
近红外技术应用前提条件
一般来讲,能否应用近红外技术定 量精确检测某种成分的含量主要由以下 三方面的因素决定:
1. 被检测的样品是否有很好的近红外光谱 反应特性,即通常所说的“红外活性” 。
2. 仪器自身的特性及相关的技术指标:检 测过程中光谱的重复性精度、信噪比以 及波长范围等因素。
相关主题