如何建立和评价近红外模型
应用现场比较复杂、分析指标比较难、应用推广的数量和范围比较 宽,要求仪器的性能指标比较高,模型能够直接传递。 否则,对仪器的要求比较低。
近红外仪器的选择
多功能研究级仪器
大范围推广型仪器()
专用水分测定仪器
工业现场仪器
实验条件的选择
根据仪器的光谱响应特征 1、选择分析样品的近红外附件 液体样品要选择不同光程的比色皿:
模型还要进行不断检验、修正、转移
March 7, 2014
3
偏最小二乘法的基本思想
分别求出样品集光谱矩阵和样品组分矩阵的主成分矩阵, 将这两个矩阵相关联,求其线形关系,用所建立的线形函 数来预测未知样品。 其中的最佳主成分矩阵的维数采用内部交叉检验来得出。 优点:1、充分提取样品光谱的有效信息;2、消除了线性相 关的问题;3、考虑了光谱矩阵与样品成分矩阵之间的内在联 系,模型更稳健;4、适合于复杂分析体系。 该方法是世界上近红外定量分析商品化软件中最流行的算法
3、选择或配备代表性建模样品集。 4、模型优化。
5、模型验证(内部交叉验证和外部验证)。
近红外仪器的选择
近红外光谱仪的选择
1、理论研究。 要求仪器附件配置齐全、扩展能力强、稳定可靠、光谱数据格式
转换方便。
2、实际推广应用 根据应用的现场要求,分析指标难、易程度以及应用推广的数量和
范围对仪器进行选择。
颜色深、吸收强的样品,光程短;颜色浅、吸收弱,光程长。
固体样品要根据粒径大小、均匀程度选择: 粒径大、不均匀的样品应选择扫描面积大的样品附件。 粒径小、均匀的样品应选择扫描面积小或大的样品附件。
2、光谱扫描的参数
分辨率、扫描次数、光谱范围。 3、规范操作步骤 特别对固体样品要保证装样的一致性。
最终目的:得到稳定的高质量光谱。
NIR prediction
Random error
Systematic error
Reference value
Reference value
怎样建立好的近红外定量分析模型?
#ofSampleswithLevlofCnstiuent
8 . 7 9 9 . 3 9 . 6 9 . 9 1 0 . 2 1 0 . 5 1 0 . 8 1 1 . 1 1 1 . 4 1 1 . 7 P e r c e n t a g e o f C o n s t i t u e n t h e l l o !
2、光谱扫描的参数
分辨率、扫描次数、光谱范围。 3、规范操作步骤 特别对固体样品要保证装样的一致性。
最终目的:得到稳定的高质量光谱。
用样品旋转器和积分球测定不均匀样品
3 2 0 1
用样品旋转器和积分球测定不均匀样品
Accessory Integrating Sphere Small Spinner Large Spinner
近红外分析是属于从复杂、重叠、变动的光谱中来提取弱信息的技术 应用化学计量学的方法来建立相应的数学模型来解决上述困难 好的仪器 优秀的分析软件 建立优秀数学模型存在的一系列困难 建模经验丰富的人员 代表性的样品资源 合理应用样品资源技术 可靠性、稳定性及动态适应性 准确测定化学值水平 ----
第二步,将T和U作线性回归 U=TB
预测时,先求出未知样品X矩阵的T未知,再按下式计算浓度 Y未知=T未知BQ
理 论 背 景 偏最小二乘法
优点:
世界上近红外定量分析商 品化软件中最流行的算法
充分提取样品光谱的有效信息
消除了线性相关的问题 考虑了光谱矩阵与样品成分矩阵之间的内在联系,模型更稳健 适合于复杂分析体系。
1. 标准方法分析样品
2. 采集光谱
3. 优化、 检验和建立模型
分析样品
Report Sample #081897-049 Component A Component B Component C
81.55% 5.38% 13.06%
1. 测定未知样品光谱
2. 调用模型
3. 预测结果
近红外分析技术的难点和技术策略
选择或配备代表性建模样品集。
天然样品和反应过程中的样品,选择的代表性样品数量比较大。
成分已知样品,选择的代表性样品数量比较少。
பைடு நூலகம்
可使用化学计量学方法对样品进行选择、设计。
大豆样品的挑选(373选261)
不同含量样品数的选择
不同含量样品数量选择不能以现实的样品变化进行 选择,应该在所有含量范围内均匀选择。
怎样建立好的近红外定量分析模型?
1、确定近红外定量分析的目标准确度。 实验室标准方法的准确度和精密度确认。
2、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。
3、选择或配备代表性建模样品集。 4、模型优化。 5、模型验证(内部交叉验证和外部验证)。
内部交叉检验
内部交叉检验(cross validation) Differ1
比较合理的分布
# of Samples with Level of Constituent
10
样 品
饲料、食品、烟草、化工、炼油等 产品的样品分布情况
Mean 百分比分布 25 # of Samples with Level of Constituent 10
分 布
制药分布
百分比分布
25
正常样品
异常样品的判断
理 论 背 景 偏最小二乘法
在主成分回归中,只对光谱矩阵作了分解,消除了光谱矩阵中的无
用信息;同样,浓度矩阵中也包含了无用信息,也应作相应处理。
偏最小二乘法:分别求出样品集光谱矩阵和样品组分矩阵的主成分
矩阵,将这两个矩阵相关联,求其线形关系,用所建立的线形函数 来预测未知样品。 (其中的最佳主成分矩阵的维数采用内部交叉检验来得出) 第一步,矩阵分解,其模型为: X=TP+E Y=UQ+F
颜色深、吸收强的样品,光程短;颜色浅、吸收弱,光程长。
固体样品要根据粒径大小、均匀程度选择: 粒径大、不均匀的样品应选择扫描面积大的样品附件。 粒径小、均匀的样品应选择扫描面积小或大的样品附件。
2、光谱扫描的参数
分辨率、扫描次数、光谱范围。 3、规范操作步骤 特别对固体样品要保证装样的一致性。
最终目的:得到稳定的高质量光谱。
缺点:
计算速度较慢,计算过程较繁琐,需要多次迭代
模型建立过程复杂,较抽象,较难理解
怎样建立好的近红外定量分析模型?
1、确定近红外定量分析的目标准确度。 实验室标准方法的准确度和精密度确认。
2、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。
3、选择或配备代表性建模样品集。 4、模型优化。 5、模型验证(内部交叉验证和外部验证)。
高分辨率、高质量光谱
原始光谱
二阶导数光谱
怎样建立好的近红外定量分析模型?
1、确定近红外定量分析的目标准确度。 实验室标准方法的准确度和精密度确认。
2、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。
3、选择或配备代表性建模样品集。
4、模型优化。
5、模型验证(内部交叉验证和外部验证)。
样品集的选择
Area 1.1 cm2 6.8 cm2 19.6 cm2
Factor 1 6 18
Messfenster der Integrationskugel
不均匀样品测试结果差异
测试光斑直径6mm, 样品旋转杯直径47mm
测试光斑直径15mm, 样品旋转杯直径90mm
实验条件的选择
根据仪器的光谱响应特征 1、选择分析样品的近红外附件 液体样品要选择不同光程的比色皿:
确定近红外定量分析的目标准确度
考察实验室数据: 方法的可靠性 方法的准确性 方法的重现性 方法的误差范围 测试中偶然误差、系统误差
怎样建立好的近红外定量分析模型?
1、确定近红外定量分析的目标准确度。 实验室标准方法的准确度和精密度确认。
2、选择分析样品的近红外附件、光谱扫描的
参数、规范操作步骤。
确定近红外定量分析的目标准确度
近红外定量分析方法是二级方法,利用化学计量学方法将近红外 光谱与实验室分析数据进行关联,建立近红外模型对未知样品进行预测。 实验室分析数据的准确度非常重要,完全遵循“量子传递”的误差理
论。实验室数据越准确,近红外模型的准确度也会越高。
目标准确度是评价近红外模型的首要条件。
Differ2
Differ3 …… Differn
外部检验(Prediction)
Differ1 Differ2 Differ3 …… Differn
模型
检验样品
模型内部交叉检验
2 Differ i 2 R 1 y y 2 i m
“extreme sample” or good outlier Useful for model update
Reference value
建 立 模 型 检验模型
图表页:双击异常点由红变黑(由黑变红),以示剔除(恢复)
系统误差和随机误差
NIR prediction
Predicted value
bad outlier, need to Identify the causes Typical concentration range The concentration range of the calibration should always be larger than the expected analysis range.