当前位置:文档之家› 项目1初识Hadoop-任务1.1大数据概述

项目1初识Hadoop-任务1.1大数据概述

Title Works About Help
Big Data
研究大数据的意义
有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质 有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、 深山煤矿的挖掘成本又不一样。与此类似,大数据 并不在于“大”,而在于“有用”。数据的价值含 量、挖掘成本比数量更为重要。对于很多行业而言, 如何利用这些大规模数据,发掘其潜在价值,才是 赢得核心竞争力的关键。
Title Works About Help
大数据的应用场景
零售行业的应用
2. 支撑行业收益管理 大数据时代的来临,为企业收益管理工作的开展提供了广阔的空间。需 求预测、细分市场和敏感度分析对数据需求量很大,而传统的数据分析 大多是对企业自身的历史数据进行预测和分析,容易忽视整个零售行业 信息,因此预测结果难免会存在偏差。企业在实施收益管理过程中,如 果在自有的数据基础上,依靠自动化信息采集软件来收集更多的零售行 业数据,以此来了解更多的市场信息,这将会对制订准确的收益策略, 取得更高收益起到推进作用。
Title Works About Help
大数据的应用场景
医疗行业的应用
1. 优化医疗方案,提供最佳治疗方法
借助于大数据平台,可以搜集不同病人的疾病特征、病例和治疗方案, 从而建立医疗行业的病人分类数据库。在医生诊断病人时可以参考病人 的疾病特征、化验报告和检测报告,参考疾病数据库来快速帮助病人确 诊。在制定治疗方案时,医生可以依据病人的基因特点,调取相似基因、 年龄、人种、身体情况相同的有效治疗方案,制定出适合病人的治疗方 案,帮助更多人及时进行治疗。
Hadoop作为一个能够对大量数据进行分布式处理的软件框架,用户可以利用Hadoop生态 体系开发和处理海量数据。由于Hadoop有可靠及高效的处理性能,使得它逐渐成为分析大数据 的领先平台。
本章将针对大数据以及Hadoop的相关概念进行详细讲解, 为后面知识的学习建立概念体系。
CONTENTS
PART 01
捷、精准 。 .
5. 产品创新
通过高端数据分析和综合 化数据分享,有效对接银 行、保险、信托、基金等 金融产品,使金融企业能 够从其他领域借鉴并创造 新的金融产品。
Title Works About Help
Title Works About Help
大数据的应用场景
零售行业的应用
在美国零售业上有这样一个传奇故事,某家商店将纸尿裤和啤酒并排放 在一起销售,结果纸尿裤和啤酒的销量双双增长!为什么看起来风马牛 不相及的两种商品搭配在一起,能取到如此惊人的效果呢?后来经过分 析发现这些购买者多数是已婚男士,这些男士在为小孩买纸尿裤的同时, 也会为自己买一些啤酒。发现这个秘密后,沃尔玛超市就将啤酒摆放在 尿不湿旁边,顾客购买会更方便,销量自然也会大幅上升。
大数据的应用场景
金融行业的应用
1. 精准营销
互联网时代的银行在互联网的冲击下,迫 切的需要掌握更多用户信息,继而构建用 户360度立体画像,即可对细分的客户进 行精准营销、实时营销等个性化智慧营销。
2. 风险管控
应用大数据平台,可以统一管理金融企业内部 多源异构数据和外部征信数据,更好的完善风 控体系。内部可保证数据的完整性与安全性, 外部可控制用户风险。
ONE
什么是大数据
巨量数据 麦肯锡 Gartner.

大数据的特征
大量 多样 高速 价值
TWO

THR
研究大数据的意义
不在于大,在于价值 预测
大数据的应用场景
医疗 .金ቤተ መጻሕፍቲ ባይዱ 零售
FOU
Title Works About Help
Title Works About Help
谢谢
北信:马东波
BITC 项目1 初识Hadoop
任务1.1 大数据概述
主讲教师:马东波
学习目标
ONE
了解大数据及其特征
THREE
了解Hadoop的发展 历史及其版本
TWO
熟悉大数据的典型应用
FOUR
掌握Hadoop的 生态体系
Title Works About Help
章节概要
随着近几年计算机技术和互联网的发展,“大数据”这个词被提及的越来越频繁。与此同时, 大数据的快速发展也在无时无刻影响着我们的生活。例如,医疗方面,大数据能够帮助医生预测 疾病;电商方面,大数据能够向顾客个性化推荐商品;交通方面,大数据会帮助人们选择最佳出 行方案。
什么是大数据
最早提出“大数据”这一概念的是全球知名咨询公司麦肯锡,他是这样 定义大数据的:一种规模大到在获取、存储、管理、分析方面大大超出了传 统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据 流转、多样的数据类型以及价值密度四大特征。
研究机构Gartner是这样定义大数据的:“大数据”是需要新处理模式 才能具有更强的决策力、洞察发现力和流转优化能力来适应海量、高增长率 和多样化的信息资产。
Title Works About Help
大数据的应用场景
医疗行业的应用
2. 有效预防预测疾病
解决患者的疾病,最为简单的方式就是防患于未然。通过大数据对于群 众的人体数据监控,将各自的健康数据、生命体征指标都集合在数据库 和健康档案中。群众需要定期去做检查,及时更新数据,以便于通过大 数据来预防和预测疾病的发生,做到早治疗、早康复。
Title Works About Help
PART03
研究大数据的 意义
研究大数据的意义
Big Data
现在的社会是一个高速发展的社会,科技发达,信息流通, 人们之间的交流也越来越密切,生活也越来越便捷,然而 大数据就是这个高科技时代的产物。阿里巴巴的创办人马 云曾经说过,未来的时代将不是IT时代,而是DT的时代, DT就是Data Technology数据科技,这显示出大数据对于 阿里巴巴集团来说是举足轻重的。
Title Works About Help
PART04
大数据的应用 场景
Title Works About Help
大数据的应用场景
医疗行业的应用
大数据让就医、看病更简单。随着大数据在医疗行业的深度融合, 大数据平台积累了海量的病例、病例报告、治愈方案、药物报告 等信息资源,所有常见的病例、既往病例等都记录在案,医生通 过有效、连续的诊疗记录,给病人提供优质、合理的诊疗方案。
Title Works About Help
研究大数据的意义
Big Data
研究大数据,最重要的意义是预测。因为数据从根本上讲,是对 过去和现在的归纳和总结,其本身不具备趋势和方向性的特征, 但是我们可以应用大数据去了解事物发展的客观规律、了解人类 行为,并且能够帮助我们改变过去的思维方式,建立新的数据思 维模型,从而对未来进行预测和推测。知名互联网公司谷歌对其 用户每天频繁搜索的词汇进行数据挖掘,从而进行相关的广告推 广和商业研究。
Title Works About Help
大数据的应用场景
零售行业的应用
3. 挖掘零售行业新需求 作为零售行业企业,如果能收集网上零售行业的评论数据,建立网评大 数据库,然后再利用分词、聚类、情感分析消费者的消费行为、价值取 向、评论中体现的新消费需求和企业产品质量问题,以此来改进和创新 产品,量化产品价值,制订合理的价格及提高服务质量,从中获取更大 的收益。
什么是大数据
PART 02
大数据的特征
PART 03
研究大数据的意义
PART 04
大数据的应用场景
PART01
什么是大数据
什么是大数据
高速发展的信息时代,新一轮科技革命和变革正在加速推进,技术创新日益成为重 塑经济发展模式和促进经济增长的重要驱动力量,而“大数据”无疑是核心推动力。
那么,什么是“大数据”呢?如果从字面意思来看,大数据指的是巨量数据。那么 可能有人会问,多大量级的数据才叫大数据?不同的机构或学者有不同的理解,难以有 一个非常定量的定义,只能说,大数据的计量单位已经越过TB级别发展到PB、EB、ZB、 YB甚至BB来衡量。
PART02
大数据的特征
大数据的特征
大量Volume
01
数据量的存储单位从过去GB到TB、甚至达到
PB、EB
03
高速Velocity
大数据采集、处理计算速度较快、能满足实时 数据分析需求
02
多样Varity
数据类型复杂多样、包括结构型数据、非结构 型数据、源数据、处理数据等。
04
价值Value
将原始数据经过采集、清洗、深度挖掘、数据 分析后具有较高的商业价值
Title Works About Help
大数据的应用场景
金融行业的应用
4. 服务创新
通过对大数据的应用,改善 与客户之间的交互、增加用 户粘性,为个人与政府提供 增值服务,不断增强金融企 业业务核心竞争力。
3. 决策支持
通过大数据分析方法改善经营决 策,为管理层提供可靠的数据支 撑,从而使经营决策更高效、敏
Title Works About Help
大数据的应用场景
零售行业的应用
1. 精准定位零售行业市场 企业进入或开拓某一区域零售行业市场,首先要进行项目评估和可行性 分析,只有通过项目评估和可行性分析才能决定是否适合进入或者开拓 这块市场。通常分析这个区域流动人口、消费水平、客户的消费习惯、 市场对产品的认知度以及当前的市场供需情况等等,这些问题的背后包 含的海量信息构成了零售行业市场调研的大数据,对这些大数据的分析 就是零售行业市场精准定位的过程。
相关主题