大数据技术与应用案例
大数据组织与管理
大数据分析与发现
大数据应用服务
如交易数据、交互 数据、传感数据。
如开展分布式文件 系统、分布式计算 系统、数据库、数 据 仓 储 、 MOLAP 、 HOLAP、数据转换 工具、数据安全等。
如数据挖掘、数据 统计、基于大数据 的业务分析与预测、 基于大数据的决策、 商业智能、人工智 能、数据可视化等。
在最初的几年里,某猪网可以看作是一个服务业的“某宝”, 将服务需求者与提供者链接起来,并从中收取佣金提成。
现有的交易有赖于双方沟通,但是只要一沟通就会翻墙跑单。 因为服务商想逃避佣金,买家也愿意逃佣金,平台不应该拿钱。
存 ◎交易产品非标准化 在 ◎复杂的个性化定制交易 的 ◎复杂购买 问 ◎交易非常低频
企业大数据——企业产品规划
汇聚企业相关数据,规划设计基于特定功能的数据产品,针对某一特定用户需 求推出的数据解决方案。
用户基 本信息
用户行 为信息
用户社 交数据
其他 数据
用户画像 建模
标签化
·上网特征 ·兴趣偏好 ·购物偏好 ·人口属性 ·其他标签
用户画像
个性化推荐 用户洞察 产品偏好 精准营销 ……
各行各业大数据每天都在产生…
我国网民数量(6.88亿)居世界之首,每天产 生的数据量位居世界前列
某宝网站
-单日数据产生量超5万GB -存储量400060亿次搜索请求
医院
-每个病人的CT影像达几十GB -全国每年保存的数据达上百亿GB
04
第四部份
大数据应用案例
Case
★ 互联网公司布局 ★ 某威客网
17:21
大数据应用案例——互联网公司布局
浏览器
输入法
网络入口 用户粘性 用户数据 ……
消费行为 统计分析
银行卡消费 →→ 个人消费情况分析 ←← 银行 ←← 支付宝、微信消费数据
大数据应用案例——某猪威客网(一)
某猪威客网——服务众包平台
多源异构性:不同形式 (文本、图形、视频数 据)、无模式或者模式不 明显、不连贯语法和句义。
大数据的产生——大数据产业(链)
大数据生产与集聚
当前我国大数据处于起步发展阶段,各地积极性高,市场增速 明显。2014年,我国大数据市场规模为759.4亿元,存在结构发展 不均衡等特点。
大数据产业链主要包括以下4个环节:
大数据
17:21
讲述内容
01 大数据的产生 02 大数据技术及分析 03 企业大数据
04
大数据应用案例
04
个人的看法
目录
PAGE DIRECTORY
17:21
01
第一部份
大数据的产生
Cause of Big Data
★ 大数据的产生缘由 ★ 大数据的特征 ★ 大数据产业(链)
17:21
大数据的产生——大数据的产生缘由
题 ◎购买决策非常理性
(朱明跃)
企业增长缓慢
大数据应用案例——某猪威客网(二)
03
第三部份
企业大数据
Enterprise Data
★ 企业大数据有哪些 ★大数据对企业的作用 ★企业产品规划
17:21
企业大数据——企业大数据有哪些
大数据是企业的感知载体、感知要素。 企业通过各种的“感知器官”收集信息并以数据形式展 示,数据的指标能监测和反映企业运行状态。
-管理数据,反映企业的管理状况。 -运营数据,反映企业的经营状况。 -产品数据,反映产品销售情况,市场占有率。 -生产数据,反映企业生产效率。 -用户数据,反映用户活跃度,用户画像。
大数据技术及分析——大数据的技术(例)
基于Cookie信息的互联网精准广告定向技术
Cookies是一种能够让网站服务器把少量数据储存 到客户端的硬盘或内存,或是从客户端的硬盘读取 数据的一种技术。Cookies是当你浏览某网站时, 由Web服务器置于你硬盘上的一个非常小的文本 文件,它可以记录你的用户ID、密码、浏览过的网 页、停留的时间等信息。
定向技术指的是依托于搜索引擎庞大的网民行为数 据库,对网民几乎所有上网行为进行个Байду номын сангаас化的深度 分析,按广告主需求锁定目标受众,进行一对一传 播,提供多通道投放,按照效果付费。而用户追踪 技术的基础就是Cookie。
这只是大数据获取及应用的一小技术,大数据运用到的技术还有很多,包括有大数据采 集—大数据预处理—大数据存储及管理—大数据分析及挖掘—大数据展现和应用(检索、 可视化、安全等)各环节下的技术。
大数据技术及分析——大数据的分析方法(例)
大数据分析方法:回归分析、聚类分析、网络分析、关联分析….
关联分析 确定型关系。扑克牌表演,表面看似随机实际只需记忆不动点即可。
啤酒与尿布 溺水事件与雪糕销量 非因果关系 隐藏共因
不确定关系。双色球,不确定型推理做不出精准,非必然的、随机的
“王”“宝”“强”,餐饮促销。
城市监控
-每小时能产生3.6GB的数据 -每月产生数据上千万GB
大数据的产生——大数据的特征
Velocity(速度)
实时分析:流信息、即时 需求
Value(价值)
低价值密度:大量的不相 关信息、需深度分析
12 34
Volume(大量)
海量数据:超规模、数字 化生活、数据商务。
Variety(多样)
企业大数据——大数据对企业的作用
大数据推进 企业转型作用
在技术上,大数据推动企业数据分析技术革 新。
在管理上,大数据优化企业管理流程,促进 管理效率提升
在运营上,大数据改变了以往营销策略,提 供个性化的产品和服务。
在思维上,改变以技术或产品为导向的企业 思维,要以用户需求为核心的大数据思维, 通过大数据挖掘消费者用户的需求。
新的数据来源/新的数据采集方法
-互联网(社交网络、电子商务等) -物联网(传感器、二维码、RFID、 无线射频识别、位置信息等)
全时空数据的可采集性
智能算法的使能
-商务智能(BI) -人工智能(AI)
非结构的数据形态
-图片、视频、音乐
而数据获取成本、存储成本和处理成本 的下降,也推动了数据量的膨胀。
如数据运营、大数 据交易、分析与预 测服务、决策支持 服务、数据分享平 台、数据分析平台 等。
大数据IT基础设施:存储设备、运算设备、一体机、操作系统、基础软件、IT支撑等。
02
第二部份
大数据技术及分析
Big Data Technology
★ 大数据的技术(例) ★大数据的分析方法(例)
17:21