数学建模与matlab
海量（高维）数据的例子
图像D=256×256=65536
数学建模与matlab
高光谱图像D=200×200=40000
数学建模与matlab
基因数据D=50000000
记a=0，c=1，g=2，t=3。 （0 2 2 1 0 1 2 2 0 0
0001222003 0012202202 20133221 01 …………）
数学建模与matlab
数据分析的未来
我们不想忽视在过去证明是有用的任 何工具。但同时我们也不想被这些工具所 限制。若代数和分析手段不能帮助我们， 我们就应该充分的利用我们的直觉和创意。 我们需要面对更多的实际问题。
数据分析本质上是一门经验科学。
数学建模与matlab
二十一世纪的数学挑战
芯片和网络
数学建模与matlab
社会与经济模型
管理问题模型：生产统筹、多因素评估（绩效评 估等）、流程优化（物流与配送）、资金优化与 效益评估、ERP模型等等。
网络建模：Web与Inter网的稳定性、路由策略、带 宽分布、网络鲁棒性与安全、网络上节点的信息 集成与分析…等等。
科学研究中的模型化方法：物理学、化学、生物、 工程技术、经济管理、考古与历史、人文与社会学、 美学与艺术、心理学，数学本身的建模等等。
抽象模型：
确定性函数 优化过程 概率统计 ……
数学建模与matlab
社会与经济模型
经济模型：金融政策、股票、市场、价格策略与 超市，等等。
社会模型：社会冲突与政策、预警、社会心理学、 政策评估、犯罪学、发展与可持续问题，资源与环 境，等等。
个人生活模型：婚姻评估与预测、家庭理财、个人 活动优化、人生规划评估、高考志愿填报、朋友圈 子设计与评估、保险与个人风险，等等。
数学建模与matlab
数据分析的由来
把“数据分析”当作有别于“数理统计”的新 兴学科，由著名的统计学家Tukey与20世纪60年 代发起。
这在某种意义上是一种奇怪的新观点。在1962 年的数理统计学院年会上，他发表了一个面向全 体与会者的演讲，题为“数据分析的未来”。就 是在这次演讲中，他首次提出上面那个充满争议 的新观点，而在其后的15年里，他一直通过《探 索性数据分析》月刊来捍卫他的这一观点。
数学建模与matlab
以数据为核心的计算
数学建模与matlab
金融数据
在过去二十多年里，出现了高频金融数 据；自1990年代初期到中期，又出现了 用于追踪个人交易活动的个人现金交易 数据。而目前，随着诸如Island之类的新 交易市场的出现，个人可以获取个体投 标人的身份来进行买卖，并可以完全转 让这种身份。
数学建模与matlab
卫星图像
数据≠信息≠知识：
数据+结构→信息，
信息+结构→知识。 数据处理：数据 信息
知识
数据处理、分析方法统称为：计算！ 因此，计算将成为二十一世纪最普遍的时代特征！
数学建模与matlab
计算的变迁
以应用问题为核心的计算——传统的计算，应用问 题求解：数学模型——计算。 多因素关系模型：线性方程组，线性拟合，线性逼 近；非线性和随机分布等等。 动态模型：微分方程组，离散动力系统，迭代格式 和随机过程等等。 多因素综合评估与分类模型：模糊数学，神经网络， 层次分析、机器学习等等。 优化问题模型：有约束与无约束数学规划，遗传算 法和蚁群算法，分类与聚类，随机模拟等等。
是二十一世纪最广泛的物质特征； 作用：数据信息的收集、存储、处理和传输。
数据爆炸
是最普遍的社会现象； 导致：数据处理方法成为社会的最大需求。
计算与数学建模（海量数据分析）
（二十一世纪的应用数学）
The coming century is surely the century of data.
……David L. Donoho
数学建模与matlab
消费者金融数据
我们在网上的每次交易活动，无论是访 问、搜索或购买，都被纪录、关联、存 入数据库。这些数据被反复出售，广告 商有赖于它们来确定消费者的行为和他 们对各种商品与服务的需求之间的关联。
数学建模与matlab
高维数据分析—21世纪的数学挑战
海量数据首先需求：数据处理——目的是获取信 息与知识。
生物数据
金融数据
卫星图像
高光谱图像
……
数学建模与matlab
二十一世纪是数据的世纪
海量数据分析已经形成新世纪的最广泛的 特征。海量数据源：Web与Internet数据、社 会管理数据、全球化经济数据、环境与资源 数据、个人信息数据、科学研究数据、多媒 体型数据，等等。
海量数据是最大的资源：数据信息产业！
数学建模与Matlab
谭璐主Βιβλιοθήκη 内容一、数学建模与数据分析 二、数学问题计算机求解概述 三、计算机数学语言概述 四、Matlab简介
数学建模与matlab
一、数学建模与数据分析
数学建模：使用数学工具描述、刻画实际问
题的过程。
数学模型：是关于以部分现实世界为一定目
标而作的抽象、简化的数学结构。
数学建模与matlab
数据分析的发展
Turkey的观点最初在数理统计界受到了抵制； 事实上有些人认为他的演讲《数据分析的未来》 根本不应当出现在这种数理统计论坛上。另一方 面，围绕着图奇的观点，形成了一个数据分析学 术群体。该学术群体目前已派生出了各种学术团 体，这是由那些强调数据分析超过数学分析与证 明的理论和应用统计学家们组成的实体。
卫星图像供应商拥有一个巨大的数据 库来存储这类图像，单个用户所需要的内 容在其中只是沧海一粟。目前正在展开的 若干项目，都是为了将分辨率为1米的整个 地球表面图像存入数据库中。这类图像的 应用领域包括自然资源发现和农业。
数学建模与matlab
超谱图像
现在超谱图像正变得越来越普通。无论是航空摄 影还是卫星摄影都可以使用超谱照相机进行拍摄。 这种照相机纪录图像时，不是使用传统的红绿蓝三 色频带，而是数千种不同的光谱带。超谱图像应当 可以揭示有关物质化学成分方面的微妙信息，并在 测定农作物密度以及病害的散布，了解干旱与虫害 的影响等方面有着发挥巨大作用的潜力。我们可以 预期，超谱图像还将被应用在食品检查，医疗检查 等一系列领域中。