近红外光谱校正
主因子个数越多,引入的噪声越多, 主因子个数越多,引入的噪声越多,模型不稳定 主因子个数过少, 主因子个数过少,准确性达不到要求
主因子取在PRESS拐点处 拐点处 主因子取在 相关系数仅作为参考
定量模型的确认原则
异常样品的处理
存在两类异常样品
样品化学值比较极端,影响模型预测的准确性。 样品化学值比较极端,影响模型预测的准确性。 但一般能提高模型的适应性 可用马氏距离(杠杆值进行判定) 可用马氏距离(杠杆值进行判定)
操作
先采集参比光谱 后采集样品光谱 重复装样采集2次
光谱采集注意要点
-充分确认仪器性能后进行光谱 采集; -光谱采集的仪器参数设置一致 颗粒样品位置正确、表面压 平;粉末样品刮平表面;液 态样品清除气泡 每一类样品状态基本一致
光谱采集 注意要点
每一个样品,每一次光谱采集 的编号唯一,便于识别 样品采集完光谱后马上进行化 验检测,可保证光谱与化验值 具有更好的对应性 -操作手法轻灵,轻拿轻放; -注意清洁,防护仪器
定量模型的验证原则
验证样品具有一定数量,可进行统计分析 重复性至少选择5个样品进行检验 准确性至少选择10个样品进行检验,该样品化验性质需进行平 行测试 准确性检验可能存在系统偏差Bias值,准确性检验时需扣减该 Bias值
经过验证的模型可用于日常分析, 经过验证的模型可用于日常分析,分析时样品状态保持与建模样品一致
交互检验方法:8-fold交互检验(减少计算时间) 交互检验方法: fold交互检验(减少计算时间) 交互检验 光谱波长选择:吸收在0.1—1.5 光谱波长选择:吸收在0.1 1.5之间的波段 0.1 1.5之间的波段
定量模型的确认原则
根据性质值的化学分析方法稳定性确定模型参数 一般规则:模型 一般规则:模型SEC <= SECV *1.2 SECV值与化学方法稳定性标准偏差相当 值与化学方法稳定性标准偏差相当 在上述基础上分析模型的主因子越小越好
近红外光谱分析定量校正 过程操作规范
内容纲要
近红外分析影响因素回顾 近红外建模和分析操作规范
影响NIR分析准确性的因素 分析准确性的因素 影响
样品
参与建模的样品量不足 建模样品不具代表性 近红外方法不适合分析该性质 非线性因素对模型的影响 性质值不稳定, 性质值不稳定,模型不理想 样品光谱和化验性质数据不匹配 仪器未正常工作 样品未经过清理 温度 湿度 震动 其他干扰
模型维护方法
NIR是一种二次方法, NIR是一种二次方法,需要长期进行检验 是一种二次方法 NIR分析 NIR分析 检验发现不合格,需要对分析模型进行维护, 检验发现不合格,需要对分析模型进行维护, 结果确认 保证分析结果的准确性
模型 维护方法
通常情况下进行Bias校正 通常情况下进行Bias校正 Bias Bias校正失效进行模型扩充维护 Bias校正失效进行模型扩充维护
模型维护操作
日常使用NIR仪器发现出现红色报警样品 日常使用NIR仪器发现出现红色报警样品 NIR 收集该红色报警样品, 收集该红色报警样品,并进行化验分析保证分析结果的准确性 收集10个该报警样品 收集10个该报警样品 10 将样品的化验平均值与NIR检测平均值进行对比, 将样品的化验平均值与NIR检测平均值进行对比,计算出平均误差和 NIR检测平均值进行对比 方差
影响 因素
操作
环境
分析结果准确性
1 影响NIR分析结果准确性的因素多种多样, 不能就一个方面轻易下结论 2 一般需要对建立好的标准曲线或模型进行验证, 满足要求后才能使用 3 建模分析过程需要一套规范保证
内容纲要
近红外分析影响因素剖析回顾 近红外建模和分析操作规范
近红外定量模型校正过程
1. 2. 3. 4. 5. 6. 7.
同一性质不同方法检测值, 同一性质不同方法检测值,不能合并到一起
化学 基础 数据 注意 点
同一性质不同校正基础的数据不能合并,如干基蛋白 同一性质不同校正基础的数据不能合并,
化学值与对应的光谱一致, 化学值与对应的光谱一致,错位将导致模型错误
同一集团不同厂的基础数据需进行核对确认
基础数据的信息记录完整, 基础数据的信息记录完整,符合标准要求
定量模型的建立
建立定量分析模型包含如下几个步骤
构建建模样品集
确定建模方法
优化评价模型
定量模型建立 和优化
选择建模参数
对异常样品进 行处理
定量模型的建立使用参数
建立定量模型的方法: PLS方法 建立定量模型的方法:K-fold PLS方法 光谱预处理方法选择: 光谱预处理方法选择:
SNV---消除光程差异 SNV---消除光程差异 --DT-----消除基线漂移 DT---消除基线漂移 SG平滑---降低噪声水平 平滑--SG平滑---降低噪声水平 SG一阶导数---提升有用信号水平 一阶导数--SG一阶导数---提升有用信号水平 均值中心化
模型维护操作—Bias校正 校正 模型维护操作
第二次进行模型Bias校正时,需要在第一次Bias校正基础上进行 第二次进行模型Bias校正时,需要在第一次Bias校正基础上进行 Bias校正时 Bias 一般不进行斜率校正
模型维护操作—模型扩充 模型维护操作 模型扩充
可以使用模型扩充工具进行模型扩充自动处理(没有建模经验) 可以使用模型扩充工具进行模型扩充自动处理(没有建模经验) 将新的建模样品与原模型的建模样品合并,重新建立分析模型(有建模经验) 将新的建模样品与原模型的建模样品合并,重新建立分析模型(有建模经验) 推荐使用第二种方法 模型扩充时可只针对某一个性质进行, 模型扩充时可只针对某一个性质进行,而不影响其他性质参数
异常样品处理的原则
定量模型的验证
• 同一样品的多张光谱
重复性
• 重复性优于性质值化验检测方法重复性
• 一组样品已知化验性质的样品
准确性
• 准确性与原模型分析结果一致: 准确性与原模型分析结果一致: • SEP与SEC结果相当或略有变大 与 结果相当或略有变大
68%
95% 99% 3.8 3.9 4.0 4.1 4.2
根据生产经验挑选建模样品, 根据生产经验挑选建模样品,即多挑选生产异常时样 品,生产正常时样品可少挑选 最开始收集的100个样品全部用于建模 最开始收集的100个样品全部用于建模 100 采集的同一个样品的重复光谱在光谱数量小于400时 采集的同一个样品的重复光谱在光谱数量小于400时, 400 可作为不同样品建模 当收集的样品个数大于200,光谱个数大于400以后, 当收集的样品个数大于200,光谱个数大于400以后, 200 400以后 可将建模样品中的重复光谱删除, 可将建模样品中的重复光谱删除,节约内存开销加快计 算速度 全局距离和最近邻距离可剔除部分信息重复的样品, 全局距离和最近邻距离可剔除部分信息重复的样品, 一般情况下仅使用最近邻距离剔除样品
选择建模校正样品原则
建模样品数量需要达到一定水平;成熟模型 建模样品数量需要达到一定水平;成熟模型200个以上 个以上 建模样品每一个性质的分布情况呈均匀分布 可基于收集样品的光谱和性质分布情况挑选建模样品 性质值过于集中的样品对模型开发无益
通常情建模校正样品实际操作
该样品的参考测量值有误, (1)该样品的参考测量值有误,其误差范 围超出了标准的规定范围; 围超出了标准的规定范围; (2)模型不能用于该样品的测定 可用学生残差进行判定
异常样品处理的原则
马氏距离(杠杆值)判定的异常样品一般不剔除。 马氏距离(杠杆值)判定的异常样品一般不剔除。 前提1: 前提 :其化验性质值确实准确无误 前提2:该样品对模型的准确度影响不太大, 前提 :该样品对模型的准确度影响不太大, 可保证SECV值与该性质的稳定性标准差相当 可保证 值与该性质的稳定性标准差相当 学生残差判定的异常样品一般进行剔除 建模过程中一般最多剔除3轮异常样品而形成最终分析模型 建模过程中一般最多剔除 轮异常样品而形成最终分析模型
注意
所收集的样品有一定的量,固体 液体100ml 所收集的样品有一定的量,固体200g液体 液体
要点
所收集的样品标签明确,保存 个月不变质 所收集的样品标签明确,保存3个月不变质
所收集的样品充分混合均匀
光谱采集原则
光谱采集原则
仪器
仪器充分预热 性能测试过关
样品
样品放置到室温 或预热充分 充分混合均匀 样品状态一致
如果Bias值小于可接受平均误差, SD与模型SECV相当,则可不维护; 如果Bias值小于可接受平均误差,且SD与模型SECV相当,则可不维护; Bias值小于可接受平均误差 与模型SECV相当 如果Bias值大于可接受平均误差, SD与SECV相当 则进行Bias校正; Bias值大于可接受平均误差 相当, Bias校正 如果Bias值大于可接受平均误差,且SD与SECV相当,则进行Bias校正; Bias过大 过大, SD值过大 值过大, 当Bias过大,且SD值过大,则需要对分析模型进行扩充维护
样本的收集 光谱的采集 校正样本的选择 化学基础数据的测定 定量模型的建立 定量模型的验证 模型维护
7个方面建立规范
样本收集原则
建模样品应包含以后未知样 品所包含的所有化学组分 建模样品的浓度变化范围大 于未知样品的变化范围
建模样品收集
组分浓度在整个变化范围内 是均匀分布的 收集足够的样品数以能统 计确定光谱变量与浓度( 计确定光谱变量与浓度( 或性质) 或性质)之间的数学关系
样本收集具体操作
没有基础模型收集100个以上样品, 没有基础模型收集100个以上样品,如有则减半 100个以上样品
• 收集开车时样品 • 收集工艺参数调整期样品
工业品
• 收集原料发生改变前后样品 • 收集稳定生产的部分样品 • 收集的样品信息记录完全如时间、批号、工艺 收集的样品信息记录完全如时间、批号、 条件、样品状态等, 条件、样品状态等,并良好保存