当前位置:文档之家› 数据仓库建设对数据量、硬件、软件的要求

数据仓库建设对数据量、硬件、软件的要求

1、不同数据量级别对服务器硬件、软件的要求
(要考虑到数据的双向传输、压力等状况)
(我们目前的数量级别是多少?如果考虑到服务明细数据、三年的增量等)
不同数据量级别对服务器硬件、软件的要求:没什么特别要求,只要保证单台数据查询比较快就OK,数据量级别主要是靠横向扩展机器的台数来满足,只要数据是按照最初设计的存储方式来存储,满足我们查询的速度即可;
目前我们数据量单表每天5000左右的量,整个数据库10g左右,未来三年可能是一年2000万的处理量,三年后数据量可能到达上亿条记录,整个数据库35g左右。

2、Oracle数据库对数据量有没有什么限制?
在Oracle中,数据库是由实例和物理存储结构组成的。

而物理存储结构是指存储在磁盘上的物理文件,包括数据文件(data file)、控制文件(control file)、联机重做日志(online redo log)、参数文件(spfile/pfile)、警告日志(alert log)、跟踪文件(trace file)等众多作用不同的文件所组成的。

我们最关注的数据,则是保存在数据文件(data file)中。

那我们在创建以及维护数据库时,该如何规划数据文件的大小和数量呢?这里面涉及较多的考量因素。

主要有如下几点:
2.1操作系统的限制
数据库是运行在操作系统之上的,操作系统是基础,因此,操作系统所能支持的最大文件容量和数量就成为数据库所能支持的限制。

但不同操作系统之间,这个限制也是不同的。

以下是较为常见的几种操作系统对此的限制:
2.1.1 WINDOWS
最大数据块:16K
最大文件数量:20000个(数据块2K时)/40000个(数据块4K时)/65536个(数据块为8K或16K时)最大文件容量:4GB(文件系统为FAT时)/ 64GB(文件系统为NTFS时)
2.1.2 UNIX和LINUX
最大数据块:32K (LINUX_X86为16K)
最大文件数量:65534个
2.2O RACLE数据库的限制
每个数据库可管理的最大文件数量:65533个
每个表空间可管理的最大文件数量:取决于操作系统可同时打开的文件数量。

通常是1022个。

每个数据文件的最大容量:该值等于数据块大小* 最大可管理的数据块数量
其中,数据块的大小最大不超过32K,一般取值是8K;可管理的数据块数量是2的22次方减1,约等于4M 个块。

因此,对于一个数据块大小为8K的数据文件,其最大不能超过32G。

但是,若操作系统支持的单个文件最大容量小于此值,则以操作系统的最大容量为限。

2.3参数DB_FILES的限制
参数DB_FILES指定了一个实例可以创建的最大文件数量。

这个值可以被修改,但只有重启实例后,才会生效。

DB_FILES设置得过低,可能造成不成添加新的数据文件的问题。

设置得过高,会消耗更多的内存资源。

2.4 性能和便利性影响
a) 通过精心设计,将同一表空间内经常访问的对象放置在不同的数据文件中,并将这些数据文件放置到不同的磁盘通道上,可以改善I/O吞吐量。

b) 将经常改变的数据和不变的数据,放置到不同的数据文件中,备份时,可以只对改变的数据文件进行备份,从而减少备份和恢复的时间
注:从ORACLE 10g起,引入了大表空间的技术。

所谓大表空间就是该表空间仅由1个数据文件组成。

其优点如下:
1、显著增加了存储容量。

大表空间可管理的数据块数量由传统的小表空间的2的22次方,提升到2的32次方。

在同样采用8K大小的数据块大小时,其最大可管理空间为32TB,1TB=1024GB,32TB=32*1024GB=32768GB,(一个数据库系统约20TB的数据,大约有600亿条记录)。

2、减少了数据库所需的数据文件的数量。

3、简化数据库管理。

3、数据仓库建设对数据量、硬件、软件的要求
数据仓库和其他数据库的搭建是一样的,只是他们的应用不同,数据仓库是一种过程,对分布在企业内部各处的业务数据的整合、加工和分析的过程。

数据量:单表数据上亿,总的数据库容量TB级,每日数据量以千万为单位,
所以硬件要求:多CPU,大内存,支持并行处理
软件:不存在软件要求,只需配置数据仓库本身软件
4、Oracle正版的价格?收费方式?正版和盗版功能的差异?
正版和盗版的差异:Oracle并没有在软件功能上有所限制,也就是说,你可以随便从Oracle网站上下载到全功能的所有数据库产品,包括企业版。

Oracle的正版授权靠的是法律约束。

也就是说,假如你一个企业,使用了Oracle数据库进行运营,让Oracle知道了,打官司是要赔很多很多钱的。

作为一个企业,用盗版Oracle来进行运营的话,假如数据库出了问题怎么办,没有售后的技术支持。

而且像这种大系统,是必须要有生产厂商的技术支持的。

没有技术支持,谁也不敢用。

收费:价格比较昂贵 1. 按客户端数2. 按CPU数
Oracle软件本身是免费的,所以任何人都可以从Oracle官方网站下载并安装Oracle的数据库软件,收费的是License,即软件授权,如果数据库用于商业用途,就需要购买相应Oracle产品的License。

现在Oracle有两种授权方式,按CPU(Process)数和按用户数(Named User Plus)。

前一种方式一般用于用户数不确定或者用户数量很大的情况,典型的如互联网环境,而后一种则通常被用于用户数确定或者较少的情况。

按CPU:License数=CPU 数*系数。

系数来自Oracle的一个参数表,如IBM Power6的处理器为1,AMD 和Intel的处理器为0.5,详细情况见下:
参数处理器型号
0.25 Sun UltraSPARC T1 处理器
0.50 Sun UltraSPARC T1处理器
0.50 Intel、AMD处理器
0.50 Sun UltraSPARC T2+ 处理器
1.00 IBM POWER6、POWER7 处理器
0.75 其他多核处理器
1.00 单核处理器
则根据公式可以算出,一个SUN UltraSparc T1的4*8核处理器需要4*8*0.25=8个CPU licenses
按用户数:Oracle用户数的官方定义是每一个访问Oracle数据库的用户,无论是自然人还是设备(如工业环境中的传感器之类),都算作一个用户(Named User)。

英文官方定义:Named User Plus: is defined as an individual authorized by you to use the programs which are installed on a single server or multiple servers, regardless of whether the individual is actively using the programs at any given time. A non human operated device will be counted.
按用户数购买则对应相应的产品有对应的License的最低购买量限制,如下:
产品最低License数
Oracle Database Standard Edition ONE 5 Named User Plus licenses
Oracle Database Standard Edition 5 Named User Plus licenses
Oracle Database Enterprise Edition 25 Named User Plus licenses per CPU
Oracle Application Server Standard Edition ONE 5 Named User Plus licenses
All other Oracle Application Server products 10 Named User Plus licenses per CPU
当然用户应该根据自己的实际用户数订购,且不少于相应版本所要求的最低用户数。

一般情况下,1CPU的费用约等于50user的费用,所以如果用户数>CPU数*系数*50,则按CPU订购反而更为经济。

每个License还有有效期的分类[不论是User License还是CPU License],分别为:1年、2年、3年、4年、5年、永久。

当然价格也是依次增加。

当前Oracle 11G的User License无限使用期的价格为人民币3千5左右,按50个User License无限使
用期的购买量则价格为17.5万;每个CPU License无限使用期的价格为17万9千,按IBM小机的系数计算,则购买价格为17万9千,和50个User License的价格相近。

详细报价还是要问代理商或者oracle厂家的人。

关于服务价格:一般地,购买Oracle的License都包含首年的服务费,以后的费用按每年原价的22%计算。

相关主题