例如格点量子色动力学（格点QCD)和计算宇宙学
9
美国高能物理HPC计算现状和未来需求
计算任务 当前计算量
2025年需求
（核小时/年） （核小时/年）
加速器建模 ~10M-100M ~10G-100G
计算宇宙学 格点QCD 理论物理
~100M-1G ~1G ~1M-10M
~100G-1000G ~100G-1000G ~100M-1G
• 20年前: 本地集群
• Beowulf cluster、存储区域网络、局域网
• 15年前, 广域网上的分布式计算
• 网格计算、 分布式存储系统、广域网数据传输
• 10年前，云计算与大数据技术
• 虚拟化、云计算、Map-Reduce，NoSQL、BigTable、…
• 现阶段，新技术融合发展
• 高性能计算、网格计算、云计算、志愿计算、大数据、人工智能、 …
数据分析（科学发现）
• 暗物质/暗能量 • 宇宙起源 •…
高能物理研究三大前沿
• 能量前沿
• 大型强子对撞机（LHC）及其探测器 （ATLAS, Alice、CMS, LHCb）的物理 实验为代表
• 精度前沿
• 中微子实验（美国DUNE, 中国大亚湾、 江门中微子实验等），muon反常磁矩 测 量等
• 地下500米实验大厅 • 2020年运行，每年将产生2PB数据
• 高海拔宇宙线实验LHAASO
• 位于四川稻城海子山，海拔4400米 • 2018年开始部分运行，建成后每年将产生6PB数据
• HXMT（“慧眼”卫星）、CSNS（中国散裂中子源） 、
HEPS（高能同步辐射光源）等等
8
高性能计算和大数据处理
高能物理数据处理与高性能计算应用
高能物理计算挑战
2
高能物理的目标
• 探索物质微观结构、宇宙起源等自然规律、新物理寻找
• 为什么物质有质量？标准模型不能 解释W,Z玻色子为什么有质量
• 为什么宇宙中观测到的物质只有理 论预言的4%？
– 反物质在哪里？为什么自然 界的正反物质是不对称的？
– 宇宙大爆炸刚发生时的物质 形态是什么样的？
12
国内（高能所）WLCG站点
• 1,600 CPU核，640TB磁盘存储空间
（另有~15000CPU核, 16PB存储用
于本地使用）
• 到欧洲和北美10Gb/s网络带宽
• 被评为国际‘Leadership’网格站点
• 站点运行水平名列前茅 • 每年提供超过1000万CPU小时的计
算服务
• 每年完成超过550万个计算作业
300Gb/s 300Gb/s
Source: https:///abs/1603.09303
到2025年，高能物理前沿研究所需的计算量将比目前提高2个数量级
需要数千万甚至上亿个CPU核
10
高能物理计算的技术演变
• 为应对大数据，计算技术一直在不断的演化发展
• 可扩展性，高可靠性，大规模，高性能，易用性April 2017: - 63 MoU’s - 167 sites; 42 countries
CPU：5.2 M HepSpec06
今天最快CPU: ~ 50万核 实际上超过70万核（有些CPU使用超过5年）
存储：985PB
Disk： 395 PB Tape： 590 PB Ian Bird WLCG2017
~300 PB on tape totally
~200 PB on Disk ~3.3 Bil files ~400GB/s disk IO
7
中国高能物理实验
• 北京正负电子对撞机BECPII
• 已经积累近10PB
• 大亚湾中微子实验
• 200TB/年 • 已经积累1PB以上数据
• 江门中微子实验JUNO
• 高能物理科学研究能否成功依赖于计算技术的发展 • 实验采集到的数据需要强大的计算系统对其进行分析处理 • 物理模拟及理论计算需要强大的高性能计算支撑 • 不同的数据处理任务采用不同的计算模式
• 粒子加速器和探测器的计算机模拟设计：计算密集型 • 粒子探测器观测到的海量科学数据的分析处理：数据密集型 • 高能物理理论研究中的高强度的科学计算：计算密集型
• 宇宙前沿
• 宇宙线测量，宇宙起源和演化、暗物质 暗能量等
5
CERN的大型强子对撞机LHC
Higgs , SUSY, Strings, Dark Matter, …..
6
LHC数据与存储
2016: 49.4 PB LHC raw data/
58 PB all experiments/ 73 PB total
• 面临着巨大的挑战
• 系统协同、密集型通信、海量数据访问与管理等
• 国内外都非常重视高能物理领域的软件研发
云计算
Desktop Grid CAS@HOME
志愿计算
高能物理应用系统
分布式资源调度
分布式IT资源
14
高能物理高性能应用软件
15
国内外高能物理软件研究现状
• 大规模并行计算已成为高能物理领域的迫切需求
• 格点量子色动力学（QCD）、高能量前沿、高精度前沿等有巨大计算需求 • 大规模并行计算是提高计算效率、满足计算需求的重要手段
3
高能物理科学研究
物质结构组成（理论） • 夸克、轻子、玻色子 • 强力、弱力、电磁力、万有引力
粒子加速器（装置） • 粒子物理研究的重要手段之一 • BEPCII，LHC，CEPC等等
探测器 （实验）
• 探测各类粒子，用于科学研究 • BESIII, JUNO, LHAASO,
ATLAS, CMS …
宇宙前沿 ~10M-100M ~1G-10G
能量前沿 ~100M
~10G-100G
强度前沿 ~10M
~100M-1G
当前存储 2025年存储 2025年网络 （磁盘） （磁盘）
~10PB ~1PB
>100PB >10PB
300Gb/s
~1PB ~1PB ~1PB
10-100PB >100PB 10-100PB
• 每年与欧洲及北美之间的数据交换超
过3PB
高能所站点
• 为Higgs粒子的发现做出了贡献
13
计算资源全面整合
ATLAS PanDA/BESGrid系 统
…
ARC CE Condor Dirac Boinc 资源调度
ScGrid ERA@CNIC
超算
Condor Cluster@IHEP
集群
Openstack Cloud@CERN