•开发源代码软件 •基础开发工具 •测试环境与工具
SAILOR 2006 copyright / 7 2020年3月21日星期六
电子科技大学 计算机学院
软件开发平台
• 网络应用开发平台
–.Net –Java –J2EE
• 嵌入式开发平台
–嵌入式操作系统 –嵌入式开发环境 –嵌入式开发平台
SAILOR 2006 copyright / 8 2020年3月21日星期六
• .Net的目的是想将任何语言都统一到.Net平台上。最终目的 是让用户在任何地方、任何时间，以及利用任何设备都能 访问所需的信息、文件和程序。用户不需要知道这些文件 放在什么地方，只需要发出请求，然后只管接收就可以了 。所有后台的复杂性是完全屏蔽起来的。
• Spark的突破在于，在保证容错的前提下，用内存 来承载工作集。
SAILOR 2006 copyright / 4 2020年3月21日星期六
电子科技大学 计算机学院
Spark
• Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架.
• Spark由Scala写成，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分 布式计算，拥有Hadoop MapReduce所具有的优点。
• Storm由java和clojure写成，storm的优点是全内存计算，因为内存寻址 速度是硬盘的百万倍以上，所以storm的速度相比较hadoop非常快。
软件开发技术
•第三章：软件开发平台与工具
2020年3月21日星期六
补充
• 大数据现在是业内炙手可热的话题，随着技术的发展，大数据存储技 术已经不在是难点，但是对大数据如何做好存储后的下一步处理将是 未来竞争的焦点，目前比较受欢迎的Storm, Spark, Hadoop三个大数据 处理工具都是JVM上的语言写成的。
• 即：.NET = 新平台 +yright / 9 2020年3月21日星期六
电子科技大学 计算机学院
.Net
• .Net作为新一代互联软件和服务战略，将使微软现有的软 件在网络时代不仅适用于传统的个人计算机，而且能够满 足呈现强劲增长的新设备的需要。到底什么是.Net呢？微 软总裁兼首席执行官Steve Baller把它定义为：.Net代表一个 集体，一个环境，一个可以作为平台支持下一代Internet的 可编程结构。
电子科技大学 计算机学院
Spark
• Shark基本上就是在Spark的框架基础上提供和Hive 一样的HiveQL命令接口，为了最大程度的保持和 Hive的兼容性，Shark使用了Hive的API来实现query Parsing和 Logic Plan generation，最后的PhysicalPlan execution阶段用Spark代替Hadoop MapReduce。通 过配置Shark参数，Shark可以自动在内存中缓存特 定的RDD，实现数据重用，进而加快特定数据集 的检索。同时，Shark通过UDF用户自定义函数实 现特定的数据分析学习算法，使得SQL数据查询 和运算分析能结合在一起，最大化RDD的重复使 用。
电子科技大学 计算机学院
.Net
• 根据微软的定义：.NET is a "revolutionary new platform， built on open Internet protocols and standards， with tools and services that meld computing and communications in new ways".
电子科技大学 计算机学院
Spark
• Spark是发源于美国加州大学伯克利分校AMPLab的 集群计算平台。它立足于内存计算，从多迭代批 量处理出发，兼收并蓄数据仓库、流处理和图计 算等多种计算范式，是罕见的全能选手。
• Spark已正式申请加入Apache孵化器，从灵机一闪 的实验室“电火花”成长为大数据技术平台中异 军突起的新锐。本文主要讲述Spark的设计思想。 Spark如其名，展现了大数据不常见的“电光石火 ”。具体特点概括为“轻、快、灵和巧”。
SAILOR 2006 copyright / 6 2020年3月21日星期六
电子科技大学 计算机学院
目录
软件开发平台
• 网络应用开发平台(.Net,Java,J2EE等) • 嵌入式开发平台(Linux,Tornado,mobileWin)
数据库平台 •Oracle 、Sybase、SQL Server、DB2、mySQL •分布式数据库系统 软件开发工具
• hadoop是实现了mapreduce的思想，将数据切片计算来处理大量的离线 数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase 的数据库中，所以hadoop实现的时候是通过移动计算到这些存放数据 的机器上来提高效率。
SAILOR 2006 copyright / 2 2020年3月21日星期六
SAILOR 2006 copyright / 3 2020年3月21日星期六
电子科技大学 计算机学院
Spark
• Spark首先是一种粗粒度数据并行（data parallel） 的计算范式。数据并行的范式决定了 Spark无法完 美支持细粒度、异步更新的操作。
• Spark的计算抽象是数据流，而且是带有工作集（ working set）的数据流。
• Spark基于map reduce算法实现的分布式计算，拥有 Hadoop MapReduce所具有的优点；但不同于 MapReduce的是Job中间输出结果可以保存在内存 中，从而不再需要读写HDFS，因此Spark能更好地 适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
SAILOR 2006 copyright / 5 2020年3月21日星期六