当前位置:文档之家› 数学建模缺失数据补充及异常数据修正

数学建模缺失数据补充及异常数据修正

精心整理题目:数据的预处理问题
摘要
一、问题重述
1.1背景
在数学建模过程中总会遇到大数据问题。

一般而言,在提供的数据中,不可避免会出现较多的检测异常值,怎样判断和处理这些异常值,对于提高检测结果的准确性意义重大。

1.2需要解决的问题
(1)给出缺失数据的补充算法;
(2)给出异常数据的鉴别算法;
2.1

(
(1)多元线性回归
当有缺失的一组数据存在多个自变量时,可以考虑使用多元线性回归模型。

将所有变量包括因变量都先转化为标准分,再进行线性回归,此时得到的回归系数就能反映对应自变量的重要程度。

2.2问题(2)的分析
属性值异常数据鉴别很重要。

我们可以采用异常值t检验的方法比较前后两组数据的平均值,与临界值相比较即可辨别数据异常并剔除异常数据。

利用样条函数进行插值,即取插值函数为样条函数,称为样条插值。

三、模型假设
1.假设只有因变量存在数据缺失,而自变量不存在缺失。

2.利用t检验法时,将除可疑测定值
x以外的其余测定值当做一个总体,并假设该总体服从正态
d
分布。

5.1问题分析
本题需要对给定缺失数据进行鉴别,可以采用的方法为t检验检测法。

T检验用t分布理论来推论差异发生的概率,从而比较两个平均数的差异是否显着。

5.2问题处理
(一)随机产生数据
由R系统随机产生数据对其进行缺失数据鉴别,代码如附录四所示,结果图如下5-1,5-2,5-3所示。

图5-1
图5-2
图5-3
(二)给定相应数据。

相关主题