本技术涉及数据处理技术领域,具体地说,涉及一种基于人工智能网络的高性能计算系统及方法,包括集群计算服务器、SMP计算服务器、I/O存储节点服务器、管理节点服务器、大容量存储设备、网络交换设备和网络基础平台。
本技术通过集群计算服务器中多个节点同步计算,提高运算效率和处理速度;通过SMP计算服务器采用对称多处理技术,一台电脑同时由多个处理器运行操作系统的单一复本,并共享内存和一台计算机的其他资源。
虽然同时使用多个CPU,但是从管理的角度来看,它们的表现就像一台单机一样。
系统将任务队列对称地分布于多个CPU之上,从而极大地提高了整个系统的数据处理能力,所有的处理器都可以平等地访问内存、I/O和外部中断。
权利要求书1.一种基于人工智能网络的高性能计算系统,其特征在于:包括集群计算服务器(1)、SMP计算服务器(2)、I/O存储节点服务器(3)、管理节点服务器(4)、大容量存储设备(5)、网络交换设备(6)和网络基础平台(7);集群计算服务器(1)采用一组计算机作为一个整体向用户提供一组网络资源,其中单个的计算机为集群计算服务器(1)的节点;SMP计算服务器(2)为一台计算机采用多个处理器运算操作系统;I/O存储节点服务器(3)用于连接后台的大容量数据存储设备(5)和集群计算服务器(1);管理节点服务器(4)用于承接外部用户接入、访问集群系统,进行程序编译、调试、并行计算任务的分发与布署。
2.根据权利要求1所述的基于人工智能网络的高性能计算系统,其特征在于:管理节点服务器(4)安装有集群管理软件,用于主节点对整个集群计算服务器(1)进行管理和作业调度工作。
3.根据权利要求1所述的基于人工智能网络的高性能计算系统,其特征在于:大容量存储设备(5)采用磁盘阵列作为存储设备,大容量存储设备(5)的网络存储结构包括DAS直连式存储、NAS网络存储设备和SAN区域存储网络。
4.根据权利要求3所述的基于人工智能网络的高性能计算系统,其特征在于:NAS网络存储设备采用NAS服务器,NAS服务器的网络吞吐量相对值:throught i=t i/t m(t m≥t i,i=1.2.3...n);其中throught i表示第i个NAS服务器的网络吞吐量相对值;t i表示第i个NAS服务器的网络吞吐量;t m表示与第i个NAS服务器同组的各个NAS服务器中的最大的网络吞吐量值;按照下列同时确定NAS服务器的综合负载权重:w i=f(cpu i,throught i)=(1-c i)a×t m/t i,(t m≥t i,i=1.2.3...n);其中,w i表示第i个NAS服务器的综合负载权重;cpu i表示第i个NAS服务器的剩余CPU利用率;throught i表示第i个NAS服务器的网络吞吐量相对值;c i表示第i个NAS服务器的CPU利用率;a为设定系数;t m表示与第i个NAS服务器同组的各个NAS服务器中的最大的网络吞吐量值;t i表示第i个NAS服务器的网络吞吐量。
5.根据权利要求1所述的基于人工智能网络的高性能计算系统,其特征在于:网络交换设备(6)包括以太网交换机、InfinBand网络交换机以及光纤通道网络交换机。
6.根据权利要求1所述的基于人工智能网络的高性能计算系统,其特征在于:InfinBand网络交换机采用InfiniBand标准的网络,包括通信队列对建立单元和共享接收队列设置单元。
7.根据权利要求6所述的基于人工智能网络的高性能计算系统,其特征在于:通信队列对建立单元用于在第一节点和需要与所述第一节点建立通信的其它节点之间建立通信队列对;其中,通信队列对具体包括设置在每个节点上的接收队列和发送队列。
8.根据权利要求6所述的基于人工智能网络的高性能计算系统,其特征在于:共享接收队列设置单元,用于在第一节点上设置统一的接收队列和预接收缓冲区,分别接收来自其它节点的工作请求和与工作请求匹配的数据,以节省InfiniBand网络可靠连接通信所占用的内存。
9.根据权利要求1所述的基于人工智能网络的高性能计算系统,其特征在于:网络基础平台(7)包括计算网络、存储网络和管理网络,计算网络采用小型机与集群计算服务器(1)协同工作、高速InfinBand计算网与千兆以太计算网协同计算的混合架构,小型机用于结构计算。
10.一种基于人工智能网络的高性能计算方法,包括权利要求书1-9任意一项所述的基于人工智能网络的高性能计算系统,其特征在于:具体包括如下步骤:S1:先通过计算作业输送至计算系统中;S2:计算系统根据输入作业的文件格式选择对应的处理软件进行处理;S3:根据集群计算服务器的数量对作业进行分割;S4:集群计算服务器中各个SMP计算服务器对作业进行快速处理;S5:通过I/O存储节点服务器将处理后的多个数据片段进行组合后,传输至大容量存储设备中进行存储备份;S6:再通过网络交换设备将存储的数据输送至网络基础平台进行云存储。
技术说明书一种基于人工智能网络的高性能计算系统及方法技术领域本技术涉及数据处理技术领域,具体为一种基于人工智能网络的高性能计算系统及方法。
背景技术高性能计算(High Performance Computing)是计算机科学的一个分支,研究并行算法和开发相关软件,致力于开发高性能计算机(High Performance Computer)。
就是在1台甚至更多的服务器上完成某些类型的技术工作负载。
随着信息化社会的飞速发展,人类对信息处理能力的要求越来越高,不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算机,而金融、政府信息化、教育、企业、网络游戏等更广泛的领域对高性能计算的需求迅猛增长。
目前高性能计算系统在运行和操作时通过单一计算系统进行计算或者多个计算系统逐一进行计算,计算效率低下,处理速度慢。
技术内容本技术的目的在于提供一种基于人工智能网络的高性能计算系统及方法,以解决上述背景技术中提出的某种或某些缺陷。
为实现上述目的,本技术提供如下技术方案:一种基于人工智能网络的高性能计算系统,包括集群计算服务器、SMP计算服务器、I/O存储节点服务器、管理节点服务器、大容量存储设备、网络交换设备和网络基础平台;集群计算服务器采用一组计算机作为一个整体向用户提供一组网络资源,其中单个的计算机为集群计算服务器的节点;SMP计算服务器为一台计算机采用多个处理器运算操作系统;I/O存储节点服务器用于连接后台的大容量数据存储设备和集群计算服务器;管理节点服务器用于承接外部用户接入、访问集群系统,进行程序编译、调试、并行计算任务的分发与布署。
作为优选,管理节点服务器安装有集群管理软件,用于主节点对整个集群计算服务器进行管理和作业调度工作。
作为优选,大容量存储设备采用磁盘阵列作为存储设备,大容量存储设备的网络存储结构包括DAS直连式存储、NAS网络存储设备和SAN区域存储网络。
作为优选,NAS网络存储设备采用NAS服务器,NAS服务器的网络吞吐量相对值:throught i=t i/t m(t m≥t i,i=1.2.3...n);其中throught i表示第i个NAS服务器的网络吞吐量相对值;t i表示第i个NAS服务器的网络吞吐量;t m表示与第i个NAS服务器同组的各个NAS服务器中的最大的网络吞吐量值;按照下列同时确定NAS服务器的综合负载权重:w i=f(cpu i,throught i)=(1-c i)a×t m/t i,(t m≥t i,i=1.2.3...n);其中,w i表示第i个NAS服务器的综合负载权重;cpu i表示第i个NAS服务器的剩余CPU利用率;throught i表示第i个NAS服务器的网络吞吐量相对值;c i表示第i个NAS服务器的CPU利用率;a为设定系数;t m表示与第i个NAS服务器同组的各个NAS服务器中的最大的网络吞吐量值;t i表示第i个NAS服务器的网络吞吐量。
作为优选,网络交换设备包括以太网交换机、InfinBand网络交换机以及光纤通道网络交换机。
作为优选,InfinBand网络交换机采用InfiniBand标准的网络,包括通信队列对建立单元和共享接收队列设置单元。
作为优选,通信队列对建立单元用于在第一节点和需要与第一节点建立通信的其它节点之间建立通信队列对;其中,通信队列对具体包括设置在每个节点上的接收队列和发送队列。
作为优选,共享接收队列设置单元,用于在第一节点上设置统一的接收队列和预接收缓冲区,分别接收来自其它节点的工作请求和与工作请求匹配的数据,以节省InfiniBand网络可靠连接通信所占用的内存。
作为优选,网络基础平台包括计算网络、存储网络和管理网络,计算网络采用小型机与集群计算服务器协同工作、高速InfinBand计算网与千兆以太计算网协同计算的混合架构,小型机用于结构计算。
另一方面,本技术还提供了一种基于人工智能网络的高性能计算方法,包括上述的基于人工智能网络的高性能计算系统,具体包括如下步骤:S:先通过计算作业输送至计算系统中;S:计算系统根据输入作业的文件格式选择对应的处理软件进行处理;S:根据集群计算服务器的数量对作业进行分割;S:集群计算服务器中各个SMP计算服务器对作业进行快速处理;S:通过I/O存储节点服务器将处理后的多个数据片段进行组合后,传输至大容量存储设备中进行存储备份;S:再通过网络交换设备将存储的数据输送至网络基础平台进行云存储。
与现有技术相比,本技术的有益效果是:1、本基于人工智能网络的高性能计算系统及方法通过集群计算服务器中多个节点同步计算,提高运算效率和处理速度;通过SMP计算服务器采用对称多处理技术,一台电脑同时由多个处理器运行操作系统的单一复本,并共享内存和一台计算机的其他资源。
虽然同时使用多个CPU,但是从管理的角度来看,它们的表现就像一台单机一样。
系统将任务队列对称地分布于多个CPU之上,从而极大地提高了整个系统的数据处理能力。
所有的处理器都可以平等地访问内存、I/O和外部中断。
在对称多处理系统中,系统资源被系统中所有CPU共享,工作负载能够均匀地分配到所有可用处理器之上。
2、本基于人工智能网络的高性能计算系统及方法通过I/O存储节点服务器连接后台的大容量数据存储设备,整个集群通过此节点来进行数据的大规模存取与调用。
3、本基于人工智能网络的高性能计算系统及方法通过管理节点服务器承接外部用户接入、访问集群系统,进行程序编译、调试、并行计算任务的分发与布署,此节点还安装有集群管理软件,做为主节点对整个集群进行管理和作业调度等工作。
4、本基于人工智能网络的高性能计算系统及方法中SAN区域存储网络具有以下优点:(1)无限的扩展能力,由于SAN采用了网络结构,服务器可以访问存储网络上的任何一个存储设备,因此用户可以自由增加磁盘阵列、带库和服务器等设备,使得整个系统的存储空间和处理能力得以按客户需求不断扩大;(2)SAN具有更高的连接速度和处理能力。