当前位置:文档之家› 云计算与大数据处理 -4

云计算与大数据处理 -4

考点:云计算部分云计算定义;云计算的特点;云计算的三种不同部署模式;Google 文件系统的特点及平台结构;云存储的相关解决方案;云服务的三种类型及其特点;虚拟化技术的特点;虚拟化的业界集中不同的解决方案;云桌面的定义;桌面云的基本架构;无盘工作站的特点;大数据处理部分大数据的4V特征;掌握hdfs中namenode与datanode的作用;MapReduce处理模型;理解WordCount程序处理流程;Hadoop中运行MapReduce作业的工作原理;1. Memcache主要应用于(B)A. 静态页面缓存B. 动态页面缓存C. 页面片段缓存D. 数据缓存2. Mapreduce 适用于(D)A.任意应用程序B.任意可在windows servet2008 上运行的程序C.可以串行处理的应用程序D.可以并行处理的应用程序1. 云计算的特点?(AB CDE)A.大规模 B.平滑扩展 C.资源共享 D.动态分配 E.跨地域2. 与传统的分布式程序设计相比,MapReduce 封装了(ABCD)等细节,还提供了一个简单而强大的接口。

A. 并行处理B. 容错处理C. 本地化计算D. 负载均衡3. 云存储解决方案价值有哪些?(ABCD)A. 海量小文件的高效管理B. PB级的存储空间和线行扩展能力C. 可动态提升的性能D. 数据高可靠性4. 目前,选用开源的虚拟化产品组建虚拟化平台,构建基于硬件的虚拟化层,可以选用(BCD)A. XenB. VMwareC. Hyper-vD. Citrix5. 在云计算中,虚拟层主要包括(ABC)A.服务器虚拟化B.存储虚拟化C.网络虚拟化D.桌面虚拟化6. 云安全主要的考虑的关键技术有哪些?(ABC)A.数据安全B.应用安全C.虚拟化安全D.服务器安全7. Google 文件系统将整个系统的节点分为(ABC)的角色A.客户端B.主服务器C.数据块服务器D.监测服务器8. 云计算基础架构的层次结构中包含(ABCD)A.基础设施层B.中间件层C.显示层D.管理层9. 下列属于Google 云计算平台技术架构的是(ABC)A. 并行数据处理MapReduceB.分布式锁ChubbyC. 结构化数据表BigTableD.弹性云计算EC210. Hadoop项目包括(ABD)A. Hadoop Distributed File System(HDFS)B. Hadoop MapReduce编程模型C. Hadoop StreamingD. Hadoop Common云计算部分:云计算定义:云计算模型能以按需方式,通过网络,方便的访问云系统的可配置计算资源共享池(如:网络,服务器,存储,应用程序和服务) 。

同时它以最少的管理开销及最少的与供应商的交互,迅速配置提供或释放资源。

1、狭义云计算:是指IT基础设施的交付和使用模式,通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。

提供资源的网络被称为“云”。

“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。

2、广义云计算:是指服务的交付和使用模式,通过网络以按需、易扩展的方式获得所需的服务。

这种服务可以是IT、软件和互联网相关的,也可以是其他任意的服务。

云计算特点:1、自助式服务:消费者无需同服务提供商交互就可得到自助的计算、资源能力,如服务器的服务、网络存储等。

2、无所不在的网络访问:借助于不同的客户端来通过标准的应用对网络访问的可用能力。

3、服务可计量:云系统对服务类型通过计量的方法来自动控制和优化资源使用,如存借助于不同的客户端来通过标准的应用对网络访问的可用能力。

4、划分独立资源池:根据消费者的需求来动态地划分或释放不同的物理和虚拟资源。

5、快速弹性:提供:资源快速和弹性提供的能力释放:资源快速和弹性释放的能力。

对消费者来说,所提供的这种能力是无限的并且可在任何时间以任何量化方式购买。

云计算的三种不同部署模式:公有云:在此种模式下,应用程序、资源、存储和其他服务,都由云服务供应商来提供给用户,这些服务多半都是免费的,也有部分按需按使用量来付费,这种模式只能使用互联网来访问和使用。

同时,这种模式在私人信息和数据保护方面也比较有保证。

这种部署模型通常都可以提供可扩展的云服务并能高效设置。

私有云:这种云基础设施专门为某一个企业服务,不管是自己管理还是第三方管理,自己负责还是第三方托管,都没有关系。

只要使用的方式没有问题,就能为企业带来很显着的帮助。

不过这种模式所要面临的是,纠正、检查等安全问题则需企业自己负责,否则除了问题也只能自己承担后果,此外,整套系统也需要自己出钱购买、建设和管理。

这种云计算模式可非常广泛的产生正面效益,从模式的名称也可看出,它可以为所有者提供具备充分优势和功能的服务。

混合云:混合云是两种或两种以上的云计算模式的混合体,如公有云和私有云混合。

他们相互独立,但在云的内部又相互结合,可以发挥出所混合的多种云计算模型各自的优势。

Google 文件系统的特点及平台结构:特点:以用户数据为中心;数据存储在云中;数据访问不收地理位置限制;数据能够很方便的共享。

平台结构:Google文件系统海量数据分布存储技术( GFS)、分布式计算编程模型MapReduce、分布式锁服务Chubby分布式结构化数据存储系统Bigtable等。

云存储的解决方案:1、DAS采用直接外挂存储方案的服务器结构如同PC机架构,外部数据存储设备采用SCSI技术,或者FC(Fibre Channel)技术,直接挂接在内部总线上的方式,数据存储是整个服务器结构的一部分。

DAS依赖服务器主机操作系统进行数据的IO读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20-30%,直连式存储的数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。

2、NAS(上图答案)NAS是将存储设备作为存储系统的附加设备,通过网络连接到系统中。

网络附加存储是一个相对于普通服务器只少了大量计算功能的专用文件服务器,因此它的功能很完备。

它是一种将分布、独立的数据整合为大型、集中化管理的数据中心,以便于对不同主机和应用服务器进行访问的技术。

NAS是一种文件级的网络存储模式。

NAS拥有自己的文件系统,一般通过网络文件系统(Network File System,NFS)或通用因特网文件系统(Common Internet File System,CIFS)对外提供文件访问服务。

NAS 提供统一的存储接口,所有的存储设备连接到现有网络的网络拓扑结构相同,因此NAS的共享性很好。

NAS 不仅仅是作为存储设备,更多的是作为数据备份和恢复的设备。

3、SANSAN是一种快速的专用子网,子网内部是通过光纤交换机、光纤路由器、光纤集线器等网络连接设备,将磁盘阵列、磁带等存储设备与相关服务器连接起来的。

SAN(存储区域网络)根据连接的方式分为光纤通道(Fiber Channel,FC)SAN 和IP SAN。

FC SAN是以光纤通道作为传输介质;IP SAN技术是一种在传统IP以太网上架构一个SAN存储网络,通过IP 以太网把服务器与存储设备连接起来的SAN存储技术。

IP SAN技术采用的是集中存储方式,大大提高了存储空间的利用率。

云服务的三种类型及特点:三种类型:IaaS、PaaS、 SaaSSaaS:通过网络向最终用户提供软件应用服务。

SaaS能降低企业信息化成本,提高企业信息化水平,为用户提供一站式服务。

PaaS:通过网络向用户提供可定制,可开发的平台服务。

例如应用开发环境、数据库服务、电信能力开放等。

IaaS:通过网络为用户提供IT基础设施服务。

包括计算存储和网络资源出租、以及灾备、负载均衡、网络加速、综合信息等服务。

虚拟化技术的特点:①软件实现:以软件的方式模拟硬件,通过软件的方式逻辑切分服务器资源,形成统一虚拟资源池,创建虚拟机运行的独立环境。

②隔离运行:运行在同一物理服务器上的多个虚拟机之间隔离,虚拟机与虚拟机之间互不影响。

包括计算隔离、数据隔离、存储隔离、网络隔离、访问隔离,虚拟机之间不会泄露数据,应用程序只能通过配置的网络连接进行通信。

③封装抽象:操作系统和应用被封装成虚拟机,封装是虚拟机具有自由迁移能力的前提。

真实硬件被封装成标准化的虚拟硬件,整个虚拟机以文件形式保存,便于进行备份、移动和复制。

④硬件独立:服务器虚拟化带来了虚拟机和硬件相互依赖性的剥离,为虚拟机的自由移动提供了良好的平台。

⑤广泛兼容:兼容多种硬件平台,支持多种操作系统平台。

6.标准接口:虚拟硬件遵循业界标准化接口,以保证兼容虚拟化的业界集中不同的解决方案:1.基于VirtualBox的虚拟化技术模拟的环境:VirtualBox能够安装多个客户端操作系统,每个客户端系统皆可独立打开、暂停与停止。

主端操作系统与客户端操作系统皆能相互通信,多个操作系统同时运行的环境也彼此能够同时使用网络。

功能特色:①支持64位客户端操作系统,及时主机使用32位CPU;②支持SATA 硬盘NCQ技术;③虚拟硬盘快照;④无缝视图模式;⑤能够在主机端与客户端共享剪贴板;⑥在主机端与客户端间创建共享文件夹;⑦自带远程桌面服务器;⑧支持VMware VMDK软盘档及Virtual PC VHD软盘档格式;⑨3D虚拟化技术支持OpenGL;⑩最多虚拟32颗CPU;⑪支持VT-x与AMD-V硬件虚拟化技术;⑫iSCSI 支持;⑬USB与USB2.0支持。

2.基于VMware的虚拟化技术VMware是真正“同时”运行,多个操作系统在主系统的平台上,就像标准Windows 程序那样切换。

而且每个操作系统用户都可以进行虚拟的分区、配置而不影响真实硬盘的数据,用户甚至可用过网卡将几台虚拟机用网卡连接成一个局域网。

主要产品:VMware-ESX-Server、VMware-GSX-Server、VMware-WorkStationVMware产品的主要功能:①不需要分区或重开机就能在同一台计算机上使用两种以上的OS;②完全隔离并且保护不同OS的操作环境及所有安装在OS上的应用软件和资料;③不同的OS之间还能互动操作,包括网络、周边、文件分享及复制、粘贴功能;④有复原功能;⑤能够设定并且随时修改OS的操作环境;⑥能够热迁移,具有高可用性。

3.基于KVM的硬件虚拟化技术KVM是通过简单地加载内核模块而将Linux内核转换成一个系统管理程序。

安装KVM 之后,可以在用户空间启动客户操作系统。

每个客户操作系统都是主机操作系统的一个单个进程。

相关主题