人工智能与大数据分析概述
淘宝数据魔方就是淘宝平台上的大数据应用方案。 • 商家可以了解行业宏观情况、品牌的市场状况、消费者行为情况。 • 消费者也能以更优惠的价格买到更心仪的宝贝。
人工智能与大数据分析概述
阿里信用贷款则是通过企业交易数据，借助大数据分析技术自动分析 判定是否给予企业贷款，全程不会出现人工干预。
Python数据分析
• Python数据分析常用库
NumPy
• NumPy
科学计算的基础包库
• Scipy
科学计算中的工具库
• Matplotlib 绘制数据图表库
• Pandas
基于NumPy的数据分析库
• Scikit-learn 机器学习建模库
• Pytorch
一种深度学习框架
SciPy
NumPy和Pandas简介
人工智能与大数据分析概述
这些设备方便了公司监督管理员工并优化行车线路。
UPS为货车定制的最佳行车路径是根据过去的行车数据总结分析而来。 2011年，UPS的驾驶员少跑了近4828万公里的路程。
人工智能与大数据分析概述
普拉达（PRADA）是意大利奢侈品牌，由玛丽奥·普拉达于1913年在 意大利米兰创建，当前全球最大的奢侈品牌之一。
NumPy和Pandas简介
• 安装NumPy和Pandas：
Anaconda安装模块包： conda install package_name
Anaconda卸载模块包： conda uninstall package_name
同时对这两个产品的价格也做出调整，并向一次购买达到一定金额的顾客赠送婴儿 奶嘴以及其他小礼品，结果是尿布与啤酒的销量双双大增。
人工智能与大数据分析概述
2006年世界杯上，阿根廷和德国在1/4决赛中120分钟难分高下，在点球大战开始 之前，老门将卡恩将一张纸条递到莱曼手中。
结果是，莱曼所有点球都判断对了方向， 除了两个点球质量太高无力回天外， 其余全部扑出，阿根廷只能黯然出局。
借助于整套的高科技信息网络，沃尔玛的各部门沟通、各业务流程可迅速、准确的 运行，数据库系统很快积累了海量的经营数据，包括大量的顾客消费行为记录。
人工智能与大数据分析概述
圣诞节快要到来时，沃尔玛的工作人员按照惯例筹备节日的营销策略。 这一次它们使用了一种新的购物篮分析的软件，对海量的顾客消费行为进行分析， 一个意外的发现让人们瞠目结舌，跟尿布一起购买最多的商品竟然是啤酒！
人工智能与大数据分析概述
沃尔玛派出市场调查人员和分析师对这一结果进行了深入研究，揭示了一条 隐藏的在啤酒与尿布背后的美国人的一种行为模式： 一些年龄在25-35岁的年轻父亲下班后经常要去超市买婴儿尿布，而他们中 30%-40%的人会顺手为自己购买几瓶啤酒。
人工智能与大数据分析概述
沃尔玛马上采取行动，将卖场内原来相隔很远的妇婴用品与酒类饮料区的距离拉近。
NumPy和Pandas简介
• 安装NumPy和Pandas：
更新Anaconda： conda update conda 查看Anaconda安装包： conda list
Anaconda内置了大多数数据处理, 预测分析, 和科学计算的模块包 （包括NumPy和Pandas），所以无需另外安装。
人工智能与大数据分析
目录
• 人工智能与大数据分析概述 • Python数据分析 • NumPy与Pandas简介 • 泰坦尼克号案例
人工智能与大数据分析 概述
人工智能与大数据分析概述
二十四节气歌、朝霞不出门，晚霞行千里。 对于一些简单的自然现象，前人们通过归纳提取得出很多经验知识。
但是现代世界中有很多复杂问题，数据量极大，已经远远超出了人脑可处理的范围。 大数据分析是数学与计算机科学相结合的产物，在实用应用中，人们可以通过 计算机工具和数学知识处理数据，得出结果作出判断，以便采取适当行动。
分析小组收集了阿根廷球队13000个点球的录像，并根据阿根廷射门练习的数据 找出了一些可以描述射门动作的行为特征，比如“阿亚拉，短助跑，右下角； 里克尔梅，斜上助跑，右下角；马克西，长距离助跑，左上角…….”
这些行为特征描述了阿根廷队谁罚点球、怎么罚点球的规律。 最终从这些特征中提炼出更具体的特征，帮助德国队获得胜利。
人工智能与大数据分析概述
每件衣服上都有RFID码，当顾客拿起衣服进试衣间时，衣服上的RFID 会被自动识别，数据传至PRADA总部。
每一件衣服在哪个城市哪个旗舰店什么时间被拿进试衣间停留多长时间， 数据都被存储起来加以分析。
人工智能与大数据分析概述
如果有一件衣服销量很低，以往的作法是直接被废弃掉。 如果RFID传回的数据显示这件衣服虽然销量低，但进试衣间的次数多。 那就说明存在一些问题，衣服或许还有改进的余地。
NumPy和Pandas简介
• 安装NumPy和Pandas： 本课程使用的NumPy版本为1.14，Pandas版本为0.23。 NumPy : pip install numpy Pandas: pip install pandas
NumPy和Pandas简介
• 安装NumPy和Pandas：
人工智能与大数据分析概述
• 数据分析流程
数据分析要做的事情可具体分为5步：
• 与外界进行交互 • 数据准备 • 数据转换 • 数据建模和计算 • 分析结果展示
读写各种各样的文件格式和数据库 对数据进行清理、整合、规范化、重塑、变形等处理 对数据集做一些数学和统计运算以产生新的数据集 将数据跟统计模型、机器学习算法联系起来 创建图片或文字摘要，展示分析结果
• 容易在Python中调用C、Fortran或者R代码。 • Python是面向对象语言，比C和Fortran更高级。 • Python可以写出易读、整洁并且缺陷最少的代码。
Python数据分析
• 为什么用Python？ 另外Python还有很多方面的用途，比如： • 通用型脚本语言，可以作脚本来用，还能操作数据库； • Django等框架的问世，Python近些年还广泛用于开发web应用。
人工智能与大数据分析概述
萨姆·沃尔顿将一个百货商店沃尔玛奇迹般地 经营为全球最大的连锁零售企业。
早在1985年10月就被《福布斯》杂志列为 全美富豪排行榜首位，连美国总统布什都赞扬 他是地道的美国人，展现了企业创新精神，是 美国梦的缩影…
人工智能与大数据分析概述
1983年，当一般零售商还在进行信息化建设的时候，沃尔玛已经开始与休斯公司 合作，花费了2400万美元发射了一颗人造卫星，此后先后投入6亿多美元建立起 电脑与卫星系统，还发明了条形码、无线扫描枪、计算机跟踪存货等技术。
Python数据分析
Python数据分析
• 为什么用Python？
数据科学家们希望： • 用最小的编程代价在大数据集上进行数值分析； • 编写的代码可读性好、执行效率高、运行速度快； • 尽可能贴近一系列数学概念。
Python数据分析
• 为什么用Python？
在科学计算领域，有很多符合这些要求的解决方案。 在对比竞争中Python胜出，在科学领域被广泛使用，具体原因如下：
人工智能与大数据分析概述
数据(data) • 客观事物未经加工的原始素材。包括文本、数字、音频、图像、视频等等。
大数据分析(data analysis) • 大数据分析是基于某种行业目的, 有目的地进行收集, 整理, 加工和分析数据,
提炼有价值信息的一个过程。
人工智能与大数据分析概述
大数据分析是将数据转化为知识/智慧的手段。
卸载安装包： pip uninstall package_name
更新安装包： pip install –U package_name
查看安装模块版本号： pip list / pip freeze
NumPy和Pandas简介
第二种安装方式：Anaconda集成环境
Anaconda 是一种Python语言的增值开源发行版，用于进行大规模 数据处理, 预测分析, 和科学计算, 致力于简化包的管理和部署。 下载地址：https:///download/
问题是，那张纸条上究竟写了什么？
人工智能与大数据分析概述
上面记录着阿根廷队的克鲁兹、阿亚拉、罗德里格斯以及坎比亚索习惯的脚法。 德国队守门员教练科普克如此精确的预测出阿根廷球员射出的点球方向，并不是 他有什么过人的占卜天才。
‘扑点球秘籍’来自于德国科隆体育学院数据分析小组夜以继日的努力。
人工智能与大数据分析概述
NumPy和Pandas简介
• NumPy • 是一个开源的Python科学计算库。 • 可以很自然地使用数组和矩阵，也包含很多实用的数学函数。
NumPy
NumPy和Pandas简介
• 为什么使用NumPy？ 对于数值计算任务，使用NumPy要比直接编写Python代码便捷得多。 • NumPy能够直接对数组和矩阵进行操作，可以省略很多循环语句。 • NumPy众多的数学函数能简化编写代码的工作。
NumPy和Pandas简介
本课程用得最多的Pandas对象是DataFrame
NumPy和Pandas简介
• 安装NumPy和Pandas： 第一种安装方式：PythonpipNumPy/Pandas 第二种安装方法：Anaconda集成环境
NumPy和Pandas简介
第一种安装方式：PythonpipNumPy/Pandas • NumPy是基于Python的，在安装NumPy之前，需要先安装Python。 • 本课程使用的是Python3.6版本。 • 安装时记得勾选安装pip选项，并配置环境变量。
人工智能与大数据分析概述
UPS（美国联合包裹公司）是一家美国快递公司，世界上最大的快递 承运商与包裹递送公司。同时也是运输、物流、资本与电子商务服务 的领导性的提供者。