MATLAB校园行上海科技大学MATLAB数据分析实践卓金武MathWorks讲师简介卓金武高级工程师，大学计划经理技术领域：数据分析、优化、数据挖掘、量化投资等MATLAB科学计算方向获奖情况：2次获全国大学生数学建模竞赛一等奖(2003, 2004)，1次获全国研究生数学建模竞赛一等奖(2007)；著作：《MATLAB在数学建模中的应用》（第1,2版）《量化投资——MATLAB数据挖掘技术与实践》《大数据挖掘：系统方法与实例分析》MathWorks®MathWorks是领先的为工程师和科学家提供数学计算软件的供应商。
公司于1984 年创立，总部位于美国马萨诸塞州内迪克，在全球15 个国家有3500 名员工▪Headquarters:Natick, Massachusetts USA ▪Other US Locations:California, Michigan,Texas, Washington DC▪Europe:France, Germany, Italy,Spain, the Netherlands,Sweden, Switzerland, UK ▪Asia-Pacific:Australia, China, India,Japan, Korea▪Worldwide trainingand consulting▪Distributors in 25 countries Earth’s topography on an equidistant cylindrical projection, created with MATLAB® and Mapping Toolbox™.MathWorks®SIMULINK 仿真以及基于模型设计MATLAB 科学计算语言数学，统计，优化应用程序数据库和报告快速原型与HIL 仿真验证、确认和测试仿真图示和报告基于事件的建模物理建模代码生成并行计算控制系统信号处理和通讯图像和视频处理测试测量金融计算生物计算应用MATLAB 家族基于MATLAB 和Simulink 的近百种工具箱和扩展模块正应用于当下的各行各业内容提要▪MATLAB高效编程技巧▪MATLAB 数据分析流程▪MATLAB 常用数据分析方法▪数据分析实践MATLAB量化投资入门实例-股票的评价•目标:如何来评价股票的价值和风险•方法:–将股票的数据导入MATLAB–交互式地探索数据并确定评估股票的方法–用脚本自动实现对一只股票价值和风险的评估MATLAB客户端界面MATLAB 科学计算流程Reporting and DocumentationOutputs for DesignDeploymentShareExplore & Discover Data Analysis & ModelingAlgorithm DevelopmentApplication DevelopmentFilesSoftwareHardwareAccessCode & ApplicationsAutomateMATLAB导入数据的方法1 右键导入数据Array:包含多个值的变量(任意长度，任意维度) Matrix:数值型2-D array (m-by-n) Vector:1-D array (1-by-n or m-by-1)Scalar:单个值股票评价的实现-交互式数据探索数据建模MATLAB入门要点总结MATLAB入门的要求：能用脚本实现某个项目或问题的解决方案获取帮助：doc/help脚本结构：✓分节✓注释借助菜单：✓导入数据✓绘图面板✓运行/分节运行✓发布功能入门后如何提高：以项目为载体，不断拓展外沿，积累经验、提高技能程序开发方式valuevariablestructure精炼并提升代码▪可维护的▪可重用/ 更广泛▪强壮的functionscriptcommand line各股票的综合评价值及最佳股票内容提要▪MATLAB高效编程技巧▪MATLAB 数据分析流程▪MATLAB 常用数据分析方法▪数据分析实践数据分析“Data analytics is a process of inspecting, cleaning, transforming, and modeling data with the goal of discovering useful information, suggesting conclusions, and supporting decision-making.”---Wikipedia数据分析应用MATLAB lets engineers do Data Science themselves 2MATLAB 使得数据分析变得简单MATLAB 数据分析典型工作流程Reporting and DocumentationOutputs for DesignDeploymentShareExplore & Discover Data Analysis & ModelingAlgorithm DevelopmentApplication DevelopmentFilesSoftwareHardwareAccessCode & ApplicationsAutomateMATLAB 支持多种数据源文件访问•Text •Spreadsheet •XML•CDF/HDF •Image•Audio•Video •Geospatial/Maps •Web content硬件访问•Data acquisition•Image capture•GPU•Lab instruments 通信协议•CAN (Controller Area Network)•DDS (Data Distribution Service)•OPC (OLE for Process Control)•XCP (eXplicit Control Protocol)•TCP/IP•I²C etc.数据库访问•ODBC•JDBC•HDFS (Hadoop)数据分析步骤123456789101112510152025303540数据统计分析可视化数据处理与建模缺失值去噪回归假设检验分布率神经网络)sin(6542321ββββββ++++=x x x y 机器学习/深度学习/数据挖掘内容提要▪MATLAB高效编程技巧▪MATLAB 数据分析流程▪MATLAB 常用数据分析方法▪数据分析实践数据可视化Basic Histogram Custom Number of Bins By Group With a Normal Distribution Fit3D Histogram Scatter Plot Pie Chart>> load fisheririsBox Plot假设检验13014015016017018019020021000.010.020.030.040.050.06Height [cm]Men Womenttest ttest2vartest vartest2vartestn ztestttest ttest2ztest>>[h,p,ci,stats] = ttest2(hmen,hwomen,0.05,'right')ttest ttest2normal distributionstesting meansunknown variancecomparing two samples ttest2回归方法199019952000200520103.544.555.566.57YearC o n s u m p t i o n [106b a r r e l s /d a y ]Data Model)sin(6542321ββββββ++++=x x x yMATLAB机器学习聚类（Clustering）目的:对未标记数据根据选定的特征进行分组；回归（Regression）目标:确定多个变量之间的依赖关系。
分类（Classification）目标:利用有标签的数据训练一个分类模型。
●Classification LearnerClassification Learner app是MATLAB 推出的一个新的应用程序（APP）。
它囊括了MATLAB的有监督机器学习算法，并以图形化的方式实现特征选取、检查验证、模型训练以及结果评估。
▪2015a 推出，并加入到Statistics and Machine Learning Toolbox▪R2015b加入如下功能:–Discriminant analysis–Dimension reduction via PCA–Parallel coordinates plot–Categorical predictors▪R2016b增加并行计算功能预测: 将训练模型集成到应用中MODEL PREDICTION模型生成模型训练CLASSIFICATION REGRESSION数据预处理SUMMARYSTATISTICSCLUSTER ANALYSIS数据导入PCA FILTERS NEW DATA分类分析工作流程训练: 迭代训练，直到获得满意结果内容提要▪MATLAB高效编程技巧▪MATLAB 数据分析流程▪MATLAB 常用数据分析方法▪数据分析实践▪MATLAB2017a新功能案例：涡轮发动机的预测性维护数据：数据取自100个同种型号发动机多个传感器的数据工程背景:▪执行计划式维护▪依然有故障发生▪已收集了故障记录以及这些故障发生前的传感器的数据▪能预测出故障还有多久就会发生吗Data provided by NASA PCoE/tech/dash/pcoe/prognostic-data-repository/?H i s t o r i c a lL i v eEngine1Engine2Engine100Initial Use/Prior MaintenanceTime (Flights)Engine200Recording Starts Failure Maintenance????数据是如何记录的.exe.lib .dllMATLABCompiler SDK MATLABCompilerMATLABRuntimeMATLAB Coder 部署模型到产品中效果演示预测式维护的意义增加可用时间和安全性更可靠降低维护成本更经济优化供应链管理更出名目标:训练股票聚类和分类模型数据:股票交易数据方法:–提取有效特征–训练模型–用测试数据进行测试数据点数据点层次聚类结果相关程度图5001000150020002500300035004000450050010001500200025003000350040004500距离矩阵:s p e a r m a n0.20.40.60.811.21.41.61.8基于交易数据的量化择股21111015172425 21828 7 8 6132230 1192312141627 326 920 4 5290.50.60.70.80.91数据点距离CPCC: 0.5406股票的聚类结果——层次聚类股票的分类模型——决策树技术关键与结果Steps Challenge Solution获取、探索、分析数据数据的多样性扩展数据支持signal, images, financial, Textual,geospatial, and several others formats预处理数据缺乏专业工具高质量数据预处理函数库Industry-standard algorithms for Finance,Statistics, Signal, Image processing训练模型周期长可交互的APP操作流程Focus on machine learning, not programing评估模型多种问题：过度拟合速度-精度-复杂度集成的最佳实践Model validation tools built into appRich documentation with step by step guidance反复灵活的架构更适合定制化的流程Complete machine learning platform MATLAB在机器学习方面的优势和劣势深度学习vs.神经网络神经网络：深度学习：案例: 基于深度学习的图像识别目标:训练深度学习机方法:–提取有效特征–训练深度学习模型–用测试数据进行测试技术关键与结果内容提要▪MATLAB高效编程技巧▪MATLAB 数据分析流程▪MATLAB 常用数据分析方法▪数据分析实践▪MATLAB2017a新功能MATLAB 2017aWhat's New –MATLAB®Product Family●Regression LearnerRegression Learner App是MATLAB 2017a推出的一个新的应用程序（APP）。