当前位置:文档之家› 大数据处理详细设计

大数据处理详细设计

目录目录 ................................................................................................................... 错误!未指定书签。

1.引言 ................................................................................................................ 错误!未指定书签。

1.1背景与目的.......................................................................................... 错误!未指定书签。

1.2专业术语及说明.................................................................................. 错误!未指定书签。

1.3参考资料.............................................................................................. 错误!未指定书签。

2. 设计概述....................................................................................................... 错误!未指定书签。

2.1任务及目标.......................................................................................... 错误!未指定书签。

2.2需求概述.............................................................................................. 错误!未指定书签。

2.3运行环境概述...................................................................................... 错误!未指定书签。

3.系统详细需求分析......................................................................................... 错误!未指定书签。

3.1详细需求分析...................................................................................... 错误!未指定书签。

4.总体设计方案................................................................................................. 错误!未指定书签。

4.1系统总体结构...................................................................................... 错误!未指定书签。

4.2系统模块划分...................................................................................... 错误!未指定书签。

5.系统详细设计................................................................................................. 错误!未指定书签。

5.1系统结构设计...................................................................................... 错误!未指定书签。

5.2系统功能模块详细设计...................................................................... 错误!未指定书签。

6.信息编码设计................................................................................................. 错误!未指定书签。

6.1代码结构设计...................................................................................... 错误!未指定书签。

6.2代码命名规则...................................................................................... 错误!未指定书签。

7.维护设计......................................................................................................... 错误!未指定书签。

7.1系统的可靠性和安全性...................................................................... 错误!未指定书签。

7.2系统及用户维护设计.......................................................................... 错误!未指定书签。

7.3系统扩充设计...................................................................................... 错误!未指定书签。

8.系统配置......................................................................................................... 错误!未指定书签。

8.1硬件配置.............................................................................................. 错误!未指定书签。

8.2软件配置.............................................................................................. 错误!未指定书签。

9.关键技术......................................................................................................... 错误!未指定书签。

9.1关键技术的一般说明.......................................................................... 错误!未指定书签。

9.2关键技术的实现方案.......................................................................... 错误!未指定书签。

10. 测试............................................................................................................. 错误!未指定书签。

10.1测试方案............................................................................................ 错误!未指定书签。

1.引言1.1背景与目的当下互联网和计算机技术越来越多的被各行各业利用,于是产生了海量的数据。

进入2012年后,“大数据”一词越来越多的被提及,人们用它来描述和定义信息爆照时代产生的海量数据。

显而易见地,数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然现在企业可能还没有意识到,但随着时间的推移,人们将越来越多的意识到数据对企业的重要性。

而这就需要有一种框架来分析处理这种大数据。

对于电力行业更是如此,电力方面每时每刻都在产生着大量的数据,而对这些数据的分析和利用有着巨大的市场前景和意义。

1.2专业术语及说明:一种分布式基础架构,由基金会开发。

用户可以在不了解分布是底层细节的情况下,开发分布式程序。

充分利用集群的威力运算和存储。

实现了一个分布式系统(),简称。

有着高容错性的特点,并且设计用来部署在低廉的()硬件上。

而且它提供高传输率()来访问应用程序的数据,适合那些有着超大数据集()的应用程序。

放宽了()的要求()这样可以流的形式访问()文件系统中的数据。

:是一个分布式的、面向列的开源数据库。

:是一种编程模型,用于大规模数据集(大于1T)的并行运算。

当前的软件实现是指定一个函数,用来把一组键值对映射成一组新的键值对,指定并发的函数,用来保证所有的映射的键值对中的每一个共享相同的键组。

1.3参考资料【1】相海泉. 大数据时代[J]. 中国信息界, 2013 (5).【2】李成华, 张新访, 金海, 等. : 新型的分布式并行计算编程模型[J]. 计算机工程与科学, 2011, 33(003): 129-135.【3】谢桂兰, 罗省贤. 基于模型的应用研究[J][J]. 微型机与应用, 2010, 25(3): 4-7.【4】陈勇. 基于平台的通信数据分布式查询算法的设计与实现[D][D]. 北京: 北京交通大学, 2009.【5】R C. [J]. , 2010, 11( 12): S1.2.设计概述①从中取数据(类)————>②通过对数据进行第一次处理( 类)————>③根据应用层的需要,对处理过的数据再次进行处理(类以及附加类:简单的数学基本函数、统计、概率等),并且返回给客户端(预留接口)2.1任务及目标数据合成:1、的常用函数:最大值、平均值等2、专业函数(与服务器类似的内置函数)数据订单:1、基本的数据挖掘、数理统计函数功能(如统计/概率)2.2需求概述因为电力行业在实际生产和应用的过程中会产生大量的数据,而这些数据又对电力有着巨大的影响和意义。

相关主题