当前位置:
文档之家› 网格计算技术在大规模CFD计算上的应用
网格计算技术在大规模CFD计算上的应用
5.中心节点接收各计算节点返回的任务结果,按 要求作必要的后期处理,通过Web接口(Portal)返 回给用户。
3 CFD网格计算软件运行
我们采用Java平台编制了CFD网格计算管理 软件具体实现了上述功能,CFD计算软件采用中国 空气动力研究与发展中心开发的高超平台软件。图 4给出了网络计算资源的Web界面。界面给出了网 络资源的节点地址、可运行程序的列表、运行状态等 等。节点状态分为开放、关闭和运行状态。当状态为 绿色时候,表示该节点上面正在运行任务,后面给出 运行的任务名称。
摘要:针对大规模数值计算规模化管理的难题。采用网格计算技术将网络环境下分散的计算资源组建了CFD网
格计算环境.采用主动接入方式,以中心服务器为核心的网格计算管理和服务模式。构建CFD网格计算环境·实
现了CFD计算在网格环境内的自动化计算管理,提高了计算资源的利用效率,降低了设计人员的劳动强度.
关键词:网格计算;CFDI大规模计算
中圈分类号:V211.3
文献标识码:A
0引 言
随着CFD技术的日益成熟,计算能力的高速增 长,计算资源的成本快速降低,CFD计算技术在现代 飞行器的气动设计中能够发挥越来越大和越来越深 刻的作用[1】。目前,所面临的最大问题不再是计算资 源的不足,而是如何利用好、管理好庞大的计算资源, 发挥出高性能计算资源应有的作用。两个突出的瓶 颈问题是网格生成技术和计算过程的管理和调度仍 然处于手工状态,已经不适应CFD大规模化的需求, 阻碍了CFD技术在工程设计上的应用c2]。如果不重 视和解决这些问题,计算资源的高速增长并不会必然 带来CFD计算质量和计算效率的双重提高。
美国是世界上信息资源最发达的国家,NASA 很早就面临大规模计算引入工业设计系统的障碍。 为此,NASA在2001年开展了CICT计划,其目的就 是确保NASA在融合数字技术方面继续保持领先地 位。其中的CNIS(Computing,Networking and In- formation Systems)子计划的核心就是试图将地面、 空中和太空中的各种分布式信息资源整合在一起, CFD计算人员能够方便地进入和利用这些信息资 源,同时资源对工程科研人员又是透明的。这样将利 用计算资源和管理计算资源分开,在提高保密性的同 时降低了普通用户利用资源的难度,使其可以将精力 放在他们需要勰决的问题上。该计划当时提出的里 程碑式目标是:借助新技术的应用,在7天时间内,能
...高效。网格通过集中管理和调度,提高现有计 算设备的使用率,可以有效降低用户平均等待时间, 实现总体计算成本的降低。
下面将介绍我们如何利用网格计算技术,构建 CFD网格计算环境的技术路线。
2 CFD网格计算结构框架
图1给出了所用网格结构框架图。一台独立服 务器作为中心管理器,其作用为:①掌握各种计算资 源的状态,②接受来自用户端提交的各种计算任务和 指令,③向各个可用资源调配计算任务,④监控计算 任务的进程状态。中心服务器上还需要建立一个数 据库,存储各种信息。数据库由5个关联数据库表组 成,表1给出了数据库采用的关系数表和相对应的功 能。数据库包含5个表格,分别存储和管理用户基本 信息、计算资源信息、用户提交任务信息、不可分割的 最小计算任务信息和计算资源上所能提供的计算服 务信息。上述5个数据库构成了进行计算任务管理 和调度的基础信息。
图5用户工作界面 Fi&5 Uset operation interface
图7答错机碉 Fig.7 Fauh-tolerant mechnaism
第27卷
行计算任务管理和调度的基础信息。 图2给出了网格计算基本功能的模块结构图。
网格计算的任务流程如下:
一一一
~| 湖息中心
_ .l
h■日口■ ■●■
图2冈格计算基本功能模块 Fig.2 Element function module for grid computation
1.Portal为用户提供了浏览器方式的操作界面, 选择工作的处理软件,并通过Web网页接口提交工 作模版和任务列表。整个Portal采用静态html和 Java Servlet相结合的技术,实现前端与后端的跨平 台无缝结合。考虑到这是一个实验性网格系统,所管 理的计算资源不会超过100个节点。服务器的负载 测量不大,直接用apache-tomcat作为Web Server及
第Z7卷第6期 2009年1 2月
文章编号l 0258-182512009)06-0696—05
空气动力学学报VoI.27.No.6
ACTA AERoDYNAMlCA SINICA
Dec.,2009
网格计算技术在大规模CFD计算上的应用
蔡巧言1,杜 涛2
(1.西北工业大学航空学院,西安71007212.中国运载火箭技术研究院研究发展中心,北京100076)
图4网络计算资源界面
Fig.4 Computation fe翻孤l凇inter/ace of grid computation 计算资源并非CFD专用机器,只在空闲时间做 为CFD计算资源接入网格系统。因此在计算资源上 加装了一个触发器软件,打开前端触发器,该计算资源 才被接入CFD网格计算系统,供CFD计算调度使用。 图5给出了用户工作界面。界面上列出了保存 在数据库中的,用户已经完成的任务和正在运行的任 务。每个工作任务的ID必须唯一指定,绝对不能重 复,这里采用了lD名中含有任务上载时刻距离1970 年1月1日的秒数,保证ID的唯一性。界面上同样 给出了工作的状态。可以手工对任务进行操作:删 除、暂停和下载任务。每个ID任务可以指定任务的 级别,级别越高的任务将优先计算,最高级别的任务 可以强行抢占所有可用资源,随着任务级别的降低, 任务获取计算资源的机会逐渐降低。 ID并不是可执行任务的最小单位,ID只是提交
Fig.1
圈1 网格计算框架结构图 Framework chart for grid computation
裘l数据库衰 TabIe l Table of databme
编号数据库表格
功能
不可分割的最小计算任务信息和计算资源上所 能提供的计算服务信息。上述5个数据库构成了进
万方数据
698
空气动力学学报
日本是世界上最重视CFD技术在航天工程领域 应用的国家。从20世纪90年代起,JAXA用于CFD 计算的专用计算机的计算能力一直排名全球高性能 计算机的前几名,甚至一度排名世界第一[5]。JAXA 认为计算任务的调度和管理是高效率高运行巨型计 算资源的关键性问题[1]。为此,他们在十万亿次量级 的第三代的Numerical Simulator(NS--III)开发了智 能化的任务调度系统NsJS(Numerical Simulator Job Scheduler)系统,采用统一的方式有效地降低了 管理队列和资源方面的浪费[1]。
Servlet Container;
2.中心节点收到用户请求,对任务进行前期处 理,生成一个任务事件Tasklnfo,将其交给Root- Node的任务管理模块处理。任务管理模块将Task 按照优先级插入到任务队列TaskQueue中,
3.系统循环地每次从队列当前指针位置取下一 个任务进行处理,处理失败后将该任务移至对尾;处 理成功则将该任务的分配信息添加到Root节点维 护的已分配任务向量数组中,然后更新数据库中的 Tasks表,设置分配时间,最后将分配的原子任务发 送到相应的计算节点,同时启动对该task的监控线 程,管理过程见图3I
从队列取任务
<愈 I 坌墼壁釜 圭!曼墨
.
分配信息加入 TasksDispatchcdj
■二二二I二二
I 更新数据库
发送任务到计算节点
ቤተ መጻሕፍቲ ባይዱ任务链入队尾
曼
图3任务调度流程示意图
随3 Sketch map of umk嘲ignment flow
4.底层网格计算节点接收到中心节点分配的原子
任务,分解任务然后调度软件执行计算处理,计算过程 中响应中心节点的一些任务监测请求,返回相关信息 并定期返回计算中间结果,计算结束后返回结果;
首先我们从计算的专业角度来分析工程型号设 计所需要的大规模CFD计算任务的特点:
...属于计算密集型应用,CPU资源消耗量高, 单次作业计算时间长,任务可分割、且没有频繁通信;
...传统的单机作业排队运算会造成负载不均衡, 一台机器为很多作业提供服务时,其他机器却空闲, 系统的整体效率不高,
.:◆普通的计算环境缺乏整体管理和统一协调,不 能很好地在不同任务和用户之间协调,资源无法充分 利用,用户平均等待时间较长I
万方数据
第6期
蔡巧言等:网格计算技术在大规模CFD计算上的应用
697
1 CFD应用问题分析
在大气层内飞行的飞行器的研制过程中,气动布 局设计需要提供飞行器在各种飞行条件下(高度、马 赫数、攻角、舵偏等等多种因素)的气动特性数据库供 控制系统设计使用。这样得到的气动状态矩阵将是 非常庞大的。随着高性能计算机的出现,大规模 CFD计算成为可能,国外提出了完全采用CFD计算 建立飞行器气动数据库的概念[‘】。在工程研制上实 现这一概念,面临的最大瓶颈问题是海量CFD计算 任务在大规模计算资源上的调度和管理问题。同时 最终用户不可能都是计算专家,直接面对和使用巨型 机,存在很大的技术困难。CFD计算任务传统的手 工管理方式必须向计算任务的自动管理和自动调度 方式转变。否则大规模计算资源不一定必然带来高 效率的计算。这里,我们考虑引进网格计算技术来解 决上述问题。
在本文中,将介绍我们采用网格计算技术,将办 公用计算机资源整合,实现自动管理CFD的计算过 程。通过采用网格计算技术后,降低了人工劳动强 度,提高了机器资源的利用效率。
·收稿日期:2008-08-01 l 修订日期:2009-09—23 作者简介:蔡巧肓(1968-)。女.河北人.研究员,在读博士生.主要从事大气层飞行器气动设计和热环境研究工作.