当前位置:文档之家› 大数据体系结构及关键技术

大数据体系结构及关键技术

大数据体系结构及关键 技术
PPT文档演模板
2020/11/15
大数据体系结构及关键技术
主要内容
一、大数据时代的新命题 二、大数据的体系结构 三、大数据的关键技术
四、物联网与云计算架构 五、知名企业大数据架构 六、大数据系统设计案例
总结、交流、作业
PPT文档演模板
大数据体系结构及关键技术
一、大数据时代的新命题
大数据体系结构及关键技术
大数据架构:整体逻辑功能架构
PPT文档演模板
大数据体系结构及关键技术
大数据架构理解:搜索引擎
PPT文档演模板
大数据体系结构及关键技术
大数据架构理解:网页内容抓取
PPT文档演模板
大数据体系结构及关键技术
大数据系统架构Hadoop
Hadoop分布式系统组成
PPT文档演模板
n Zookeeper:分布式锁,提供类似Google Chubby的功能; n Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制; n Pig:大数据数据流分析平台,为用户提供多种接口; n Sqoop:在HADOOP与传统的数据库间进行数据的传递。
PPT文档演模板
大数据体系结构及关键技术
信息时代,软件编程模型发展
n “面向信息处理”的智能化编程模型,编程简化为数据配置 与管理
PPT文档演模板
大数据体系结构及关键技术
大数据+技术架构数据智能
PPT文档演模板
大数据体系结构及关键技术
二、大数据的系统架构
PPT文档演模板
大数据体系结构及关键技术
传统数据库技术架构:
n Oracle数据库体系架构
PPT文档演模板
大数据体系结构及关键技术
大数据关键技术1:大数据存储技术
数据的海量化和快增长特征、以及数据格式的多样化是大数据对
存储技术提出的首要挑战。要求底层硬件架构和文件系统在性价比上要大大高于传 统技术,并能够弹性扩展存储容量。
网络附着存储系统(NAS)和存储区域网络 (SAN)等体系,存储和计算的物理设备分离,
大数据体系结构及关键技术
大数据系统架构Hadoop
在图中,Hadoop主要的功能组件有: n Hadoop Common: 包含HDFS、MapReduce和其他项目公共内容; n HDFS:Hadoop分布式文件系统; n MapReduce:一个用于并行处理大数据集的软件框架。Map 函数接受一组数据
大数据关键技术2:并行计算能力
大数据的分析挖掘是数据密集型计算,需要巨大的计算能力。 针对不同计算场景发展出特定分布式计算框架。
Yahoo 提出的S4 系统、Twitter 的Storm,谷歌2010 年公布的Dremel系统, MapReduce 内存化以提高实时性的Spark 框架.
大数据体系结构及社会需求:信息化-智能化-现代化
人力工具 -- 镰刀 -- 锄头
动力工具 -- 机车 -- 机床
智能工具 --推理机 --智能网
农业社会
PPT文档演模板
工业社会
信息社会
大数据体系结构及关键技术
信息时代数据大爆炸,推动智能技术发展
PPT文档演模板
大数据体系结构及关键技术
大数据架构: MapReduce工作原理2
PPT文档演模板
大数据体系结构及关键技术
三、大数据的关键技术
PPT文档演模板
大数据体系结构及关键技术
大数据关键技术到底有哪些? 核心问题是:(计算、存储、分析)算法
大数据:恐怖的大数据(生活示例) 智能性:数据分析、自然语言理解
逻辑推理(演示) 艺术性:分形算法、视频动画(演示)
n 发数据处理能力要求提高 -大规模数据存取方式 -大数据并行技术能力
n 数据间关联性分析加强 -社交网络关系 -多业务关联性 -用户行为分析
n 网络数据的实时同步 -一切营销都线下+线上 -多业务跨地域数据同步
PPT文档演模板
“数据结构化”本身是最具 挑战性的一个环节. 海量数据与快速处理是一 对悖论.
大数据系统架构Hadoop:功能定位
PPT文档演模板
大数据体系结构及关键技术
1.大数据系统架构Hadoop:层次对应
PPT文档演模板
大数据体系结构及关键技术
大数据:分布式计算架构
PPT文档演模板
大数据体系结构及关键技术
大数据架构: MapReduce工作原理1
PPT文档演模板
大数据体系结构及关键技术
PPT文档演模板
大数据体系结构及关键技术
大数据架构:分层架构
从数据在生命周期看,大数据从数据源经过分析挖掘到最终获得价值需要经过5 个环节,包括数据准备、数据存储与管理、计算处理、数据分析和知识展现。
PPT文档演模板
大数据体系结构及关键技术
大数据的系统架构:整体系统架构
新一代编程语言
PPT文档演模板
PPT文档演模板
大数据体系结构及关键技术
谷歌大数据中心:全球主要DC有8个
PPT文档演模板
大数据体大数据体系结构及关键技术
大数据表象概念:对系统要求
PPT文档演模板
大数据体系结构及关键技术
大数据时代的新命题:
n 数据在爆炸式增长 -互联网海量大数据 -物联网各类型数据
并将其转换为一个键/值对列表,输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表,然后根据它们的键(为每个键生成一个键/值对 )缩小键/值对列表; n HBase: 类似Google BigTable的分布式NoSQL列数据库; n Hive:是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一 张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务 进行运行;
它们之间要通过网络接口连接,这导致在进行
数据密集型计算(Data Intensive Computing) 时I/O 容易成为瓶颈。单机文件系统不提供数据 冗余、可扩展性、容错及并发能力差
PPT文档演模板
谷歌文件系统(GFS)和Hadoop 的分布式文件 系统HDFS(Hadoop Distributed File System) 奠定了大数据存储技术的基础。GFS/HDFS 将计 算和存储节点在物理上结合在一起,从而避免在 数据密集计算中易形成的I/O 吞吐量的制约,同 时这类分布式存储系统的文件系统也采用了分布 式架构,能达大到数较据高体的系结并构发及访关问键能技力术。
相关主题