留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

高性能计算技术在气象领域的应用

赵立成 沈文海 肖华东 王彬 孙婧 魏敏 李娟 沈瑜

引用本文:
Citation:

高性能计算技术在气象领域的应用

The Application of High Performance Computing Technology in Meteorological Field

  • 摘要: 高性能计算通过应用超级计算机与并行处理技术解决复杂的计算问题,是信息技术发展比较迅猛的领域之一。气象应用始终是高性能计算的重要领域,高性能计算技术有效地解决了高分辨率、高精度气象数值预报模式发展限制,在气象预报预测业务中发挥着核心支撑作用。数十年以来,由于数值天气模式研究和业务运行对计算资源的强烈需求,国内外气象领域高性能计算机及应用迅速发展起来。气象领域对高性能计算能力及系统的可靠性需求日益提升。高性能计算技术将与气象预报应用日益融合,相互影响促进,不断创新发展。为满足气象预报预测业务和科研工作需求,中国气象部门将进一步提升高性能计算能力,并致力于优化集约高性能计算系统布局,高效管理计算资源,发挥最大效益。
  • 表 1  ECMWF IFS模式发展计划

    Table 1.  Development plan of ECMWF IFS model

    IFS分辨率 预期业务化时间 格点间距/km 积分步长/s 估算CPU核数
    T2047H 2014—2015年 10 450 6000
    T3999NH 2023—2024年 5 249 80000
    T7999NH 2031—2032年 2.5 30~120 1~4000000
      注:H表示静力平衡,NH表示非静力平衡;估算CPU核数以IBM POWER7芯片为基准,1 h内完成10 d预报需要的CPU核数。
    下载: 导出CSV
  • [1] 王彬.高性能计算技术在气象部门的应用.计算机工程与设计, 2014, 35(4):1476-1479. 
    [2] 洪文董.高性能计算机的发展与气象应用.计算机工程与应用, 2004, 40(5):32-35. 
    [3] 王文义, 王若雨, 董绍静.高性能科学计算的特征分析及其实用方法研究.计算机科学, 2008, 35(9):217-219. 
    [4] 王彬, 宗翔, 田浩.国家气象计算网格的设计与建立.应用气象学报, 2010, 21(5):632-640. doi: 10.11898/1001-7313.20100514 
    [5] 沈文海.从云计算看气象部门未来的信息化趋势.气象科技进展, 2012, 2(2):49-56. 
    [6] Bennett P M.Sustained Systems Performance Monitoring at the US Department of Defense High Performance Computing Modernization Program//State of the Practice Reports.ACM, 2011:3.
    [7] Jordan H, Thoman P, Durillo J J, et al.A Multi-objective Auto-tuning Framework for Parallel Codes//High Performance Computing, Networking, Storage and Analysis (SC).2012 International Conference for IEEE, 2012:1-12.
    [8] Sarood O, Kale L V.A 'cool' load balancer for parallel applications//Proceedings of 2011 International Conference for High Performance Computing, Networking, Storage and Analysis.ACM, 2011:21.
    [9] 杨广文, 武永卫, 朱晶.一种全局统一的层次化网格资源模型.计算机研究与发展, 2003, 40(12):1763-1769. 
    [10] 廖湘科, 谭郁松, 卢宇彤, 等.面向大数据应用挑战的超级计算机设计.上海大学学报:自然科学版, 2016, 22(1):3-16. 
    [11] Foster I, Zhao Y, Raicu I, et al.Cloud Computing and Grid Computing 360-degree Compared//Grid Computing Environments Workshop, 2008.IEEE, 2008:1-10.
    [12] 陈康, 郑纬民.云计算:系统实例与研究现状.软件学报, 2009, 20(5):1337-1348. 
    [13] 季刚.集群技术及负载均衡调度算法研究.计算机时代, 2012 (8):37-43. 
    [14] 气候变化应对决策支撑系统工程第二批高性能计算机系统技术及应用调研小组. 高性能计算机技术及应用调研报告. 2016.
    [15] InfiniBandSM Trade Association.InfiniBandTM Architecture Specification Volume 1, Ser Release 1.0.2000.
    [16] 谢向辉, 彭龙根, 吴志兵, 等.基于InfiniBand的高性能计算机技术研究.计算机研究与发展, 2005, 42(6):905-912. 
    [17] 敖志刚, 解文彬, 胡琨, 等.新一代以太网的结构模型和并行传输设计.电子科技大学学报, 2013, 42(5):773-777. 
    [18] 王彬.第15届ECMWF高性能计算机在气象中的应用研讨会简介.气象科技合作动态, 2013(2):11-17. 
    [19] 李国杰.21世纪上半叶信息科学技术展望.中国科学院院刊, 2010, 25(1):78-86. 
    [20] 孙婧, 沈瑜.气象应用的高性能计算机性能需求推算方法.计算机技术与发展, 2015, 25(6):206-210. 
    [21] 谢彬, 钟敏, 刘军.高性能计算机群的性能评测与优化.高能量密度物理, 2006(4):170-173. 
    [22] Karlin I, Bhatele A, Keasler J, et al.Exploring Traditional and Emerging Parallel Programming Models Using a Proxy Application//Parallel & Distributed Processing (IPDPS).2013 IEEE 27th International Symposium on IEEE, 2013:919-932.
    [23] Massie M L, Chun B N, Culler D E.The ganglia distributed monitoring system:Design, implementation, and experience.Parallel Computing, 2004, 30(7):817-840. doi: 10.1016/j.parco.2004.04.001
    [24] Katz D S, Hart D, Jordan C, et al.Cyberinfrastructure Usage Modalities on the TeraGrid//2011 IEEE International Parallel & Distributed Processing Symposium Workshops and PhD Forum IEEE.2011:932-939.
    [25] Asanovic K, Bodik R, Catanzaro B C, et al.The Landscape of Parallel Computing Research:A View From Berkeley.Technical Report UCB/EECS-2006-183, EECS Department, University of California, Berkeley, 2006. 
    [26] Ge R, Feng X, Song S, et al.Powerpack:Energy profiling and analysis of high-performance systems and applications.IEEE Transactions on Parallel and Distributed Systems, 2010, 21(5):658-671. doi: 10.1109/TPDS.2009.76
    [27] 肖华东, 孙婧, 魏敏, 等.高性能计算机系统相对持续性能度量模型.计算机工程与应用, 2015, 51(5):33-37. 
    [28] 魏敏, 孙婧, 沈瑜, 等.高性能计算系统性能评测方法及其应用.应用气象学报, 2013, 24(6):753-760. doi: 10.11898/1001-7313.20130612 
    [29] 林一松, 杨学军, 唐滔, 等.一种基于关键路径分析的CPU-GPU异构系统综合能耗优化方法.计算机学报, 2012, 35(1):123-133. 
    [30] 郭妙, 金之雁, 周斌.基于通用图形处理器的GRAPES长波辐射并行方案.应用气象学报, 2012, 23(3):348-354. 
    [31] 吴恩华, 柳有权.基于图形处理器 (GPU) 的通用计算.计算机辅助设计与图形学学报, 2004, 16(5):601-612. 
    [32] 王海峰, 曹云鹏.GPU集群能耗优化控制模型研究.电子学报, 2015, 43(10):1904-1910. doi: 10.3969/j.issn.0372-2112.2015.10.004
    [33] 贺永翔, 刘昕, 赵海波, 等.气体动力学直接模拟Monte Carlo的高效GPU并行计算.计算物理, 2015, 32(2):169-176. 
    [34] 李佳佳.异构GPU集群的并行编程模型及实现.上海:复旦大学, 2013.
    [35] 高飞, 刘轶.基于Intel MIC众核架构的视频字幕提取算法并行加速.计算机工程与科学, 2015, 37(4):634-640. 
    [36] 沈铂, 张广勇, 吴韶华, 等.基于MIC平台的offload并行方法研究.计算机科学, 2014, 41(增刊Ⅰ):477-480. 
    [37] 吕慧伟, 程元, 白露, 等.众核处理器和众核集群的并行模拟.计算机研究与发展, 2013, 50(5):1110-1117. doi: 10.7544/issn1000-1239.2013.20111270
    [38] 郑方, 沈莉, 李宏亮, 等.面向高性能计算的众核处理器轻量级错误恢复技术研究.计算机研究与发展, 2015, 52(6):1316-1328. doi: 10.7544/issn1000-1239.2015.20150119
    [39] Lorenz E N.Reflections on the conception, birth, and childhood of numerical weather prediction.Annu Rev Earth Planet Sci, 2006, 34:37-45. doi: 10.1146/annurev.earth.34.083105.102317
    [40] 郑明典.数值天气预报近期的发展趋势.物理双月刊, 2001, 23(3):422-426. 
    [41] Bauer P, Thorpe A, Brunet G.The quiet revolution of numerical weather prediction.Nature, 2015, 525(7567):47-55. doi: 10.1038/nature14956
    [42] 魏敏.气象高性能计算应用服务环境适应性研究.气象, 2015, 41(1):92-97. doi: 10.7519/j.issn.1000-0526.2015.01.011
    [43] 魏敏, 王彬, 孙婧, 等."天河一号"系列超级计算机系统气象领域适用性分析.气象科技进展, 2012, 2(1):31-35. 
    [44] 李黄, 王春虎.气象通信网络和计算机系统工程.中国工程科学, 2000, 2(9):101-106. 
    [45] 赵立成.气象信息系统.北京:气象出版社, 2011:62;72-84.
    [46] 王彬. 面向气象计算的NMIC Grid. 2010国际信息技术与应用论坛论文集. 计算机科学, 2010, 37(7A): 23-25.
    [47] 肖文名, 李永生, 陈晓宇, 等.高性能计算系统性能评测关键问题探讨.计算机系统应用, 2008, 17(3):115-118. 
    [48] 吕爽, 衡志炜, 马艳军.西南区域气象中心IBM高性能计算机管理及应用.高原山地气象研究, 2015, 35(2):71-76. 
    [49] 王彬, 肖文名, 李永生, 等.华南区域中心计算资源管理系统的建立与应用.气象, 2011, 37(6):764-770. doi: 10.7519/j.issn.1000-0526.2011.06.016
    [50] 袁卫华, 赵玉娟, 孟冬梅, 等.天津市中尺度数值预报业务系统的设计与实现.气象科技, 2011, 39(6):828-833. 
    [51] 袁金南, 王在志, 薛纪善.广州区域数值预报模式并行化计算.应用气象学报, 2004, 15(5):557-563. 
    [52] 陈德辉, 沈学顺.新一代数值预报系统GRAPES研究进展.应用气象学报, 2006, 17(6):773-777. doi: 10.11898/1001-7313.20060614 
    [53] 伍湘君, 金之雁, 黄丽萍, 等.GRAPES模式软件框架与实现.应用气象学报, 2005, 16(4):539-546. doi: 10.11898/1001-7313.20050415 
    [54] 伍湘君, 金之雁, 陈德辉, 等.新一代数值预报模式GRAPES的并行计算方案设计与实现.计算机研究与发展, 2007, 44(3):510-515. 
    [55] 王彬, 宗翔, 魏敏.一个精细粒度实时计算资源管理系统.应用气象学报, 2008, 19(4):507-511. doi: 10.11898/1001-7313.20080416 
    [56] 常飚, 王彬.气象计算资源管理系统设计.计算机工程, 2011, 37(8):281-284. 
    [57] 刘立明, 王彬.气象网格环境下大数据的端到端传输机制研究.计算技术与自动化, 2014, 33(1):122-126. 
    [58] 宗翔, 王彬.国家级气象高性能计算机管理与应用网络平台设计.应用气象学报, 2006, 17(5):629-634. doi: 10.11898/1001-7313.20060506 
    [59] 董波, 沈青, 肖德宝.云计算集群服务器系统监控方法的研究.计算机工程与科学, 2012, 34(10):68-72. doi: 10.3969/j.issn.1007-130X.2012.10.014
    [60] 陈诗然, 胡凯, 张伟, 等.多集群并行作业的性能监测及分析.计算机工程, 2008, 34(13):75-77. doi: 10.3969/j.issn.1000-3428.2008.13.028
    [61] 王彬, 常飚, 朱江, 等.气象计算网格平台资源监视模块的设计与实现.应用气象学报, 2009, 20(5):642-648. doi: 10.11898/1001-7313.20090517 
    [62] 王彬, 周斌, 魏敏.气象计算网格模式预报系统的建立与优化.计算机应用研究, 2010, 27(11):4182-4184. 
    [63] 王彬.一个计算作业网格执行环境的分析、设计与应用.计算机应用研究, 2008, 25(8):2546-2549. 
    [64] 陈萍, 王彬, 徐国市, 等.网格计算的应用支持平台和运行环境分析.计算机应用研究, 2004, 21(9):50-52;58. 
    [65] Dongarra J, London K, Moore S, et al.Using PAPI for Hardware Performance Monitoring on Linux Systems//Proc Conf on Linux Clusters:The HPC Revolution.2001:25-27.
    [66] 魏敏, 徐金秀, 王在志.并行I/O技术在气候数值模式中的应用研究.计算机技术与发展, 2014, 24(12):11-15. 
    [67] 吴竑, 王小鸽, 杨广文, 等.THREP:面向地球系统模式的插值算法研究平台.计算机工程与应用, 2013, 49(15):48-55. doi: 10.3778/j.issn.1002-8331.1301-0255
    [68] 王卓薇, 许先斌, 赵武清, 等.基于GPU的GRAPES模型并行加速及性能优化.计算机研究与发展, 2013, 50(2):401-411. doi: 10.7544/issn1000-1239.2013.20110219
    [69] 伍湘君, 黄丽萍.超级计算机上矩阵乘的并行计算与实现.应用气象学报, 2005, 16(1):122-128. 
    [70] 金之雁, 王鼎兴.大规模数据并行问题的可扩展性分析.应用气象学报, 2003, 14(3):369-374. 
    [71] 彭新东, 李兴良.多尺度大气数值预报的技术进展.应用气象学报, 2010, 21(2):129-138. doi: 10.11898/1001-7313.20100201 
    [72] 魏敏, 罗勇, 王兰宁, 等.海气耦合模式的优化方法研究.应用气象学报, 2005, 16(3):408-412. doi: 10.11898/1001-7313.20050316 
    [73] 金之雁, 王鼎兴.一种在异构系统中实现负载平衡的方法.应用气象学报, 2003, 14(4):410-418. 
    [74] 刘灿灿, 张卫民, 骆志刚, 等.面向集合预报的高性能计算环境.计算机工程与科学, 2012, 34(2):87-92. 
    [75] 孙健, 赵平.用WRF与MM5模拟1998年三次暴雨过程的对比分析.气象学报, 2003, 61(6):692-701. doi: 10.11676/qxxb2003.070
  • [1] 魏敏,  孙婧,  沈瑜,  肖华东,  李娟.  高性能计算系统性能评测方法及其应用 . 应用气象学报, 2013, 24(6): 753-760.
    [2] 魏敏,  罗勇,  王兰宁,  董敏,  李清泉,  徐影.  海气耦合模式的优化方法研究 . 应用气象学报, 2005, 16(3): 408-412.
    [3] 宗翔,  王彬.  国家级气象高性能计算机管理与应用网络平台设计 . 应用气象学报, 2006, 17(5): 829-834.
    [4] 陈起英,  金之雁,  伍湘君,  姚明明,  Ali Mechentel.  中期数值预报系统T213L31在IBM/SP高性能计算机上的建立 . 应用气象学报, 2004, 15(5): 523-533.
    [5] 伍湘君,  黄丽萍.  超级计算机上矩阵乘的并行计算与实现 . 应用气象学报, 2005, 16(1): 121-128.
    [6] 龚贤创.  浅析计算机病毒对气象业务网络的危害与防范 . 应用气象学报, 2003, 14(3): 375-378.
    [7] 马恒超,  李松梅.  微型计算机在我国气象业务中的应用 . 应用气象学报, 1987, 2(1): 106-112.
    [8] 刘其真,  王浩军.  气象要素剖面图的计算机绘制 . 应用气象学报, 1991, 2(2): 218-223.
    [9] 王宗皓.  IBM 4381-P03型双CPU计算机实现NWP模型的并行计算 . 应用气象学报, 1990, 1(1): 79-85.
    [10] 袁金南,  王在志,  薛纪善.  广州区域数值预报模式并行化计算 . 应用气象学报, 2004, 15(5): 556-563.
    [11] 金之雁,  颜宏,  丁小良.  数值天气预报并行计算模式的设计与可行性讨论 . 应用气象学报, 1993, 4(1): 117-121.
    [12] 张正秋,  周秀骥,  李维亮.  陆面气象要素非均匀分布对模式计算的影响及其参数化初步探讨* . 应用气象学报, 2002, 13(6): 641-649.
    [13] 封国林,  曹鸿兴,  谷湘潜,  丑纪范.  一种提高数值模式时间差分计算精度的新格式———回溯时间积分格式 . 应用气象学报, 2002, 13(2): 207-217.
    [14] 孟春雷,  张朝林.  路面气象数值预报模型及性能检验 . 应用气象学报, 2012, 23(4): 451-458.
    [15] 张庆红,  张玉玲.  水汽方程积分计算格式的数值试验 . 应用气象学报, 1997, 8(2): 157-166.
    [16] 金之雁,  廖洞贤.  对数场面气压梯度的数值计算方法比较 . 应用气象学报, 1990, 1(3): 289-292.
    [17] 王彬,  宗翔,  田浩.  国家气象计算网格的设计与建立 . 应用气象学报, 2010, 21(5): 632-640.
    [18] 封国林,  曹鸿兴,  魏凤英.  区域气候自忆预测模式的计算方案及其结果 . 应用气象学报, 1999, 10(4): 470-477.
    [19] 金心,  尹宏.  计算HIRS/2通道透过率的指数和模式 . 应用气象学报, 1996, 7(1): 96-102.
    [20] 刘绍民.  用Priestley-Taylor模式计算棉田实际蒸散量的研究 . 应用气象学报, 1998, 9(1): 88-93.
  • 加载中
计量
  • 文章访问数:  2736
  • HTML全文浏览量:  1084
  • PDF下载量:  1499
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-06-13
  • 修回日期:  2016-07-25
  • 刊出日期:  2016-09-30

高性能计算技术在气象领域的应用

  • 国家气象信息中心,北京 100081

摘要: 高性能计算通过应用超级计算机与并行处理技术解决复杂的计算问题,是信息技术发展比较迅猛的领域之一。气象应用始终是高性能计算的重要领域,高性能计算技术有效地解决了高分辨率、高精度气象数值预报模式发展限制,在气象预报预测业务中发挥着核心支撑作用。数十年以来,由于数值天气模式研究和业务运行对计算资源的强烈需求,国内外气象领域高性能计算机及应用迅速发展起来。气象领域对高性能计算能力及系统的可靠性需求日益提升。高性能计算技术将与气象预报应用日益融合,相互影响促进,不断创新发展。为满足气象预报预测业务和科研工作需求,中国气象部门将进一步提升高性能计算能力,并致力于优化集约高性能计算系统布局,高效管理计算资源,发挥最大效益。

English Abstract

    • 高性能计算指通过并行计算的方式解决应用对超级计算性能的需求,是信息技术发展较快的方向之一。气象应用一直是高性能计算的重要领域。气象高性能计算应用从规模和范围看,始终是高性能计算的重点领域[1-2]。气象业务对高性能计算能力的需求在一定程度上促进了高性能计算技术的发展。随着气象数值预报业务与科研工作的快速发展,气象高性能计算的需求激增。各国气象部门, 尤其是发达国家气象部门均独立建立了适合自己气象业务应用的高性能计算机系统。从20世纪90年代至今,中国气象部门的高性能计算能力有了长足的进步,已成为气象现代化水平的重要标志之一,同时应用水平也不断提高,为提高气象业务信息化能力做出了重要贡献。从发展趋势看,两者结合将日趋紧密,相得益彰。

    • 高性能计算 (high performance computing, HPC) 主要是指计算量大并且快速高效的运算 (http://wenku.baidu.com/view/bfa91636f111f18583d05a14.html#)。通常也将高性能计算机称为超级计算机。高性能计算已成为计算机科学技术学科的一个重要分支,是指从体系结构、并行算法及软件开发等方面研究开发高性能计算机的技术,高性能计算与理论科学和实验科学构成了科学研究的三大支柱。高性能计算技术是国家发展的战略性制高点技术,其发展水平成为衡量一个国家综合国力的重要指标[3]。高性能计算在国家科技、国防、产业、金融、服务、生活等方面都占有不可或缺的重要地位。高性能计算已不限于并行计算,与网格计算、分布式计算、网络计算、云计算和大数据等技术密切联系日益融合[4-12]

      依据Flynn分类法 (http://en.wikipedia.org/wiki/Flynn’s_taxonomy#),现代高性能计算机系统大都属于多指令流多数据流 (MIMD) 类型的计算机。

      集群系统 (cluster) 是一组相互独立的计算机,通过高速通信网络按某种结构连接起来,组成一个单一的计算机系统,实现统一管理调度与高效并行处理。集群系统最大特点是提供高可靠性、可扩充性和抗灾难性[13]

      目前衡量高性能计算机系统的关键性能指标主要包括系统体系架构、机器规模、处理器芯片、峰值速度、实测速度、运行效率、内部互联技术、操作系统、作业管理软件、每瓦特性能等[14]

      各厂商生产的通用部件高性能计算机系统硬件组成部件基本相同,体系结构主要有cluster与大规模并行处理器 (MPP),处理器包括X86和RISC两大类,内部互联网络有InfiniBand, Intel Omini-Path、以太网、专有网络等[15-17]。主流操作系统包括Linux及UNIX系统,编译器采用Intel/GNU/PGI编译器,采用MVAPICH/OpenMPI等并行环境,作业管理软件采用商用软件 (LSF, PBSpro, LoadLeveler等) 或开源软件 (Slurm, OpenPBS, Torque等) 定制开发。

    • 全球超级计算机TOP500排行榜 (http://www.top500.org) 是由国际学术界组织对全球高性能计算机系统进行定期评测,每半年评测发布1次,已成为业界公认的衡量高性能计算水平的事实标准,是了解高性能计算机发展现状和趋势的风向标[14, 18]

      2016年6月全球超级计算机TOP500统计数据显示,全面进入千万亿次 (PFLOPS) 时代,体系结构以cluster结构为主,内部节点互联网络以InfiniBand技术为主,Intel处理器芯片占据较大优势,Linux操作系统占统治地位。高性能计算进入千万亿次 (PFLOPS) 时代后,主要厂商已开始探索性能更强的ExaFLOPS (百亿亿次) 级的超级计算机,预计将会在2018年左右出现[19]

      虽然高性能计算机的性能有了很大提升,但面临的计算密集、数据密集型应用需求也日益明显。高性能计算系统面临着低成本、低能耗、并行程序支持的可用性以及对现有代码的有效沿用等挑战。

      在过去的几十年,计算机处理器速度的提升一直遵循着摩尔定律。应用程序会随着处理器频率的提高而获得更好的性能。然而,更高的主频导致能耗增加,产生散热、漏电等单CPU芯片物理瓶颈。为此,处理器性能的提高将不再单纯依赖于时钟频率的提高,而是要发挥多核、众核的并行性[20-28]。高性能计算机系统峰值从Terascale发展到Petascale级甚至更高,意味着系统内的组件 (内核、存储、互联等) 数量也在迅速增加。目前规模最大的是神威·太湖之光 (Sunway TaihuLight) 超级计算机系统,共计使用了1064万个处理器核。

      GPU (graphic processing unit) 和MIC (Intel many integrated core) 是两大主流异构编程技术。GPU自问世以来一直是作为CPU附属加速器使用。但随着技术不断发展创新,GPU相比CPU有数量更多的执行单元,使GPU在浮点处理能力上具有优势。此外,GPU速度快、能耗低,演变成高性能计算机数据并行的组成部分。GPU/CPU混合架构系统的性能/功耗比一般高于传统的同构系统[29-34]。MIC众核架构与通用的多核处理器相比,在处理复杂的并行应用具有优势。MIC架构在单个CPU芯片中融合了众多核心,可作为独立的运算单元或通用CPU的协处理器而存在,支持使用标准的C,C++和FROTRAN语言另加一些扩展制导语句进行编程 (http://toutiao.com/i6224293-816581489153)。MIC众核架构,在并行运算、编程可控和兼容性等方面更具优势。同GPU编程相比,除了支持混合编程下offload模式外,MIC编程模式更多[35-38]

    • 气象数值预报是指利用数值方法,在一定的初值条件下求解一组表征大气运动状态的数学物理方程组,计算大气的量或场 (如温度、风向和风速及湿度等) 将如何改变,从而由目前的天气状态推衍出未来一段时间内的天气状况[39]。一方面,数值预报需要对大量的观测数据进行质量检查和同化分析才能获得初值条件,处理过程计算量很大;另一方面,数值求解上百万个自由度的控制偏微分方程组本身也需要大量的计算。无论用于短期的数值天气预报系统还是用于长期的数值气候预测系统,均离不开强大计算和存储能力支撑。另外,数值天气预报业务时效性要求很高,必须在一定时间内完成,大量的计算对于人工及普通计算机是一项无法完成的工作。高性能计算技术有效解决了气象数值预报业务和研发的发展限制。高性能计算技术建立在具有众多处理器、高性能的内部互联网络的高性能计算机平台上,具有可并行执行任务的特点,能够缩短问题求解时间或扩大求解问题规模,适用于气象数值预报业务和研发。高性能计算技术的进步在数值天气预报的应用发展上占有极其关键的地位,几乎在任一时期,数值天气预报系统都使用了当时最快速的高性能计算机,数值天气预报系统也唯有使用最快速的高性能计算机才能展现其突出的预报应用价值[40]。随着气象数值预报模式向着更高分辨率、更复杂物理过程、集合预报、多模式耦合的方向发展,对计算能力的要求也越来越高[41]

      气象数值预报业务和研发依托于高性能计算机,不同的高性能计算技术对气象应用的影响体现在处理器架构、操作系统类别、编译器及并行环境、科学计算函数库等方面。这些差异使数值预报业务需要适应性调整移植,研发需要熟悉适应新的编程运行环境[42-43]。处理器架构不同,数据在计算机内存中表示的字节序相反,直接表现为数据值差异,导致数值预报模式直接移植后计算结果错误。操作系统类别不同,工具命令或命令参数及系统库存在差异,导致数值预报模式部分代码需要做适应性调整。Linux系统对于气象领域中常用的开源软件及专业库GrADS,NCL,NetCDF等支持更好。Linux系统一般采用Intel/GNU/PGI编译器,一般对程序检查较严格;而另一些UNIX系统一般使用厂商自研的编译器。因此,运行在UNIX系统上的模式需要修改源代码才能在Linux环境下编译通过。一些UNIX系统采用自研并行环境;而国内厂商一般采用MPICH2,MVAPICH,OpenMPI等并行环境。各自在调优设置上有很多的不同,具体表现为运行性能上存在差异。科学计算库不同,程序链接变化,实现相同功能的函数不同,数值预报模式移植需要调整。

    • ① 能力建设。为支撑数值预报模式的快速发展,国外气象部门的高性能计算机系统更新速度较快,高性能计算能力已达每秒千万亿次 (PFLOPS),计算节点间互联网络采用InfiniBand网络或专有网络。主要计算能力为纯CPU、少量GPU或MIC众核。由于GPU/众核的编程模式与CPU完全不同,需要使用其特定的编程语言,模式移植优化难度高,工作量大。因此,目前美、欧、中、英、法、日、韩等气象部门高性能计算机仍然是由通用CPU构建的系统,少数开始建设小规模GPU/众核系统,探索移植改造气象业务模式系统,期待提高模式并行能力和运行时效。NCEP计划2019年在高性能计算中部分节点使用加速技术来探索优化数值模拟能力;NCAR在可视化服务方面使用少量的GPU系统;ECMWF计划在2016年安装1个32个众核节点系统,用于支持可扩展性计算。

      截至2016年6月,全球TOP500系统中共有22套系统用于天气和气候应用领域,其中,12套采用了cluster结构,10套采用MPP结构。欧洲中期天气预报中心 (ECMWF)、美国国家海洋和大气管理局 (NOAA)、美国国家大气研究中心 (NCAR)、英国气象局、法国气象局、韩国气象局均集中在2012—2015年采购了新的高性能计算系统,建设系统规模均为PFLOPS级以上,系统均采用CPU架构。其中,英国气象局新建系统峰值能力超过16PFLOPS,部署在气象局总部机房和同城的科学园区[14]

      ② 模式发展。气象领域对高性能计算需求主体是数值预报模式系统的科学研究和业务运行。世界各国数值预报业务系统也在有计划地快速发展,未来3~5年,世界各国主要的全球数值模式水平分辨率都会提高到10~20 km,达到全球中尺度模式的水平。目前,欧洲中期天气预报中心的业务模式Tco1279L137,水平分辨率已达到9 km,其模式发展每8年水平分辨率提高一倍,模式发展路线和规划见表 1;美国国家大气海洋局NOAA业务模式T1534L64,水平分辨率为13 km,其下一代全球预报系统 (NGGPS) 发展目标是满足未来15~20年需求,建立全球高分辨率天气预报系统 (水平分辨率3~10 km),预测高影响天气如飓风、强风暴 (0.5~2 km嵌套),扩展预报时效至30 d,甚至是季节预测尺度,建立海洋-大气-海冰-海浪耦合模式系统,完善集合预报及资料同化系统气溶胶预测等,新一代非静力学动力过程计算预估需要100000数量级CPU核;英国气象局全球模式UM2015年达到水平分辨率为N768(17 km),计划在2017年达到N1024(12 km) 的分辨率;日本气象厅全球数值预报模式T959L100,水平分辨率已经达到20 km,计划升级到新版T1479L100。

      表 1  ECMWF IFS模式发展计划

      Table 1.  Development plan of ECMWF IFS model

      IFS分辨率 预期业务化时间 格点间距/km 积分步长/s 估算CPU核数
      T2047H 2014—2015年 10 450 6000
      T3999NH 2023—2024年 5 249 80000
      T7999NH 2031—2032年 2.5 30~120 1~4000000
        注:H表示静力平衡,NH表示非静力平衡;估算CPU核数以IBM POWER7芯片为基准,1 h内完成10 d预报需要的CPU核数。

      ③ 资源管理。国外气象部门高性能计算系统一般采用两套架构完全相同的系统以提高系统稳定运行和承担业务模式的备份。一套系统以业务为主,另一套系统以科研为主,并作为业务备份。部分国家单独建立科研应用系统。高性能计算资源管理一般采用资源预分配方式,即根据用户需求申请预先分配资源,并建立相应的运行环境和所需的数据环境,实现计算任务的调度管理。

      ECMWF为业务运行、研发分配一定比例的计算资源,其中,25%用于业务,50%用于研发,另外25%供成员国用户使用。ECMWF主要由科学咨询委员会 (Scientific Advisory Committee,SAC) 和技术咨询委员会 (Technical Advisory Committee,TAC) 负责对高性能资源申请进行评估。SAC审查每个申请的研究方面的内容,对申请进行优先级排序;TAC在SAC评估结果基础上,给出对申请项目的计算时间和资源的分配建议。

    • ① 能力建设。高性能计算机系统是气象信息系统的核心组成部分之一,计算能力已成为气象现代化建设水平的重要标志。1978年11月中国气象局引进了1台每秒百万次运算能力、内存4 MB、磁盘2.1 GB的日立M-170计算机,在当时属于国内综合性能最强的计算机系统,主要用于气象数据处理和运行MOS数值预报模式,从此结束了我国没有数值预报业务的历史。1980年7月A模式 (欧亚区域模式) 投入业务运行,1983年8月B模式 (亚洲区域模式) 投入业务运行,从此我国数值天气预报全面进入实用化阶段[44]

      20世纪90年代中期以来,高性能计算机能力明显增强。国家级气象业务中心先后引进了银河Ⅱ,CRAY J90,CRAY EL98,CRAY C92,IBM SP2,IBM SP,曙光1000A,银河Ⅲ,神威Ⅰ,神威新世纪-32I,神威新世纪-32P,IBM Cluster 1600,SGI Altix4700,神威4000A,IBM Flex P460等高性能计算机系统,很好地支撑了数值预报业务运行、研究开发以及卫星数据处理业务等工作[45]

      20世纪90年代初至今,国家级气象计算能力基本上每5年增长1个数量级[46]。2014年超过千万亿次的IBM Flex P460系统投入业务运行后,计算能力比1978年提高了10亿倍,比“十一五”期间提高了近30倍。

      从发展历程来看,2000年之前进口高性能计算机系统占主导地位,2000年之后国产与进口高性能计算机并驾齐驱。

      从机型上看,最初阶段主要采用通用巨型计算机,从20世纪90年代中期起至今转向大规模并行架构计算机。

      国家级气象部门目前业务运行的主力高性能计算机系统为IBM Flex P460。该系统主要由P460服务器组成,每台服务器配置4个8核3.55 GHz Power7处理器芯片。系统总计算能力达1054.2 TF-LOPS,存储物理容量超过4.2 PB,全系统共计37120个CPU核,内存总量163584 GB。IBM Flex P460高性能计算机系统整体上可分为两个子系统,每个子系统计算能力527.1 TFLOPS,存储物理容量2109.38 TB。其中计算集群包括4个登录节点,15个前后处理节点,481个普通计算节点 (128 GB内存),58个大内存计算节点 (256 GB内存) 以及2个服务节点;存储集群部分主要由40个P740 IO节点和40个DSC3700组成,共计2400块900 GB硬盘。系统安装在国家气象信息中心高性能计算机房。作为国家级主要的计算业务研发平台,IBM Flex P460高性能计算机系统承担了数值天气预报业务、短期气候预测业务、数值预报准业务及研发等工作。

      IBM Flex P460每个子系统内部采用无阻塞胖树结构的InfiniBand网络互连,构成系统内部高速数据网络,每个计算节点配置4个InfiniBand端口,通过2个边缘交换机分别连接到2个核心交换机,单个节点对外通讯的聚合带宽最大可达双向160 Gb/s+160 Gb/s,充分保证系统的可靠性和可用性以及足够的节点通信带宽。

      IBM Flex P460高性能计算机系统采用冷却水制冷方式,所有机柜均安装水冷背门,绝大部热能通过冷却水带走,相对于空冷方式,可提升系统整体制冷效率,节约能源。

      随着区域中心数值预报业务研究不断发展,2000年以来,部分区域和省级气象部门根据自身发展需要,先后建设了不同规模的高性能计算机系统[47-51]。东北、华东、华中、华南、西南、西北、新疆区域气象中心在2014年先后安装了IBM Flex P460高性能计算机系统,大大提升了区域中心的高性能计算能力。

      ② 模式发展。中国气象局的全球天气模式目前主要以T639L60模式和0.25° GRAPES模式[52-54]为主,其中T639L60模式水平分辨率为30 km,GRAPES全球模式水平分辨率为25 km,垂直60层,计划在2020年GRAPES全球模式升级到水平分辨率为10 km,垂直层次数加密至90。

      ③ 资源管理。高性能计算资源对于气象领域始终是稀缺资源,由于国家级与地方之间,以及地方与地方之间数值预报业务发展的不平衡,导致目前这一稀缺资源在部门内分布 (包括地理分布) 的不均衡。因此,将分布在国家局及各区域中心的高性能计算资源共享使用,实现统一管理、监控和资源共享,将解决国家级、地方气象部门的资源整合、共享与协同管理等问题[4, 55-58]

      不同区域高性能计算机系统互联网络带宽、数值预报模式输入数据环境、数值预报模式输出产品方式和数据量、气象业务系统使用数值预报模式产品的方式共同决定了异地高性能计算资源的共享调度策略。根据现有气象高性能计算资源的网络互联条件以及模式应用数据环境的现状,中国气象局现有高性能计算资源管理以本地化使用优先为原则,采用资源预分配策略进行。针对国家级及区域中心的各个高性能计算机系统,采用基于预分配的统一资源应用方案,建立精细的资源统计、分配和审计机制,提供相应的资源预分配和规范手段对高性能计算资源进行统一的管理。结合每年各单位及用户的需求和上一年的使用情况,确定相应的年度资源分配额,对各系统的资源进行统一调配,合理规划国家级及各区域中心高性能计算资源的使用。在中国气象局建立气象高性能计算统一监控平台,实现国家级和区域级高性能计算机系统运行状态和资源使用的统一实时监控,实现国家级、区域级数值预报业务系统的统一实时监控[59-65]

      根据数值预报业务模式和科研模式运行作业不同特点,采取不同应用方式。根据各系统计算资源负载现状,优先使用本地资源。

      协调规划国家级及区域级模式运行,在国家级建立数值模式统一运行平台,实现对数值预报业务统一调度和运行维护管理。由于业务模式应用相对比较成熟,输入、输出数据流程固定,因此,数值预报业务将主要在本地高性能计算机运行。区域中心本地系统无法满足的区域数值预报业务模式通过资源预分配管理调配至国家级高性能计算机系统运行。业务备份采用冷备份的方式进行,在重大气象服务或重大气象灾害应急等特殊时期,申请使用热备份的方式同时运行某一业务模式,保障业务的可靠运行。为保障备份模式在静止的情况下其数据与原主业务系统的数据始终保持同步,通过云服务获取同步数值预报模式启动所需的初始场等数据,并在备份系统启用后接收在异地运行的模式产品,实现数据同步流程。

      由于研发模式应用多样性、不确定性的特点,依据本地优先、异地调配的原则使用资源。采用直接登录高性能计算机方式使用系统资源,限于目前的网络性能和其他客观条件,对于远程用户不通过网络传输大数据,可直接在异地系统完成模式运行及后处理,在需要时将图形回显到本地,对必需的大数据或可采用移动硬盘拷贝方式。支持科研应用异地提交,开发GRAPES和BCC_CSM核心研发模式的模式试验系统,提供基于命令行登录和Web Portal的两种资源访问方式,用户可通过浏览器方式实现可视化的模式试验配置运行控制和跨集群作业提交[66-74]

      考虑到多个区域中心都在进行GRAPES区域模式或WRF[75]区域模式的运行,同类模式彼此之间存在较大的重叠区域,协调规划各区域模式运行,考虑减少运行单位,或可行性上考虑缩小边界与减小重叠区域。

    • 随着多核/众核架构处理器、超大规模并行处理、GPU计算、大数据、云计算等新技术的出现,业界正处于计算技术发展的转折点,科学计算将经历技术和思维两方面的变革。新兴技术正在或已对现有高性能计算技术产生不可忽视的影响和促进,未来的发展趋势必定是多方面的融合,这将对气象部门的高性能计算应用与数值预报模式研发产生深远影响,极大推动包括高性能计算业务在内的气象信息化建设[5]。数值预报技术研发需要加大众核、GPU计算等新技术应用力度,以便最大化利用好未来混合型体系架构的高性能计算平台。

      统筹集约地做好气象部门内高性能计算资源的布局、建设与管理。为提高资源使用效率,高性能计算机布局应放眼全国进行考虑,逐渐减少地理多点分散的小规模系统,逐步形成全国集约化的格局。为了满足数值天气与气候预报模式业务运行和科研工作发展需要,中国气象局将建设新一代国家级高性能计算机系统,缓解计算资源紧张局面,支撑数值天气预报、气候预测与气候变化等业务研究工作。制订完善并施行配套的高性能计算资源分配、资源评估、资源变更等管理规范。建立全国计算资源综合管理平台,制定推行计算资源整合准入方案,开发气象计算资源综合管理软件,建立基于用户行为的资源管理模式。吸收先进软件技术,实现计算资源的统一管理、分配调度与互备支撑。促进资源集约使用,提高利用效率和精细化管理水平。高性能计算资源管理未来会从目前本地预分配为主的方式,逐步过渡到本地异地统一调度、共享使用的方式。基于国家级、区域中心统一的CIMISS数据环境,实现数值预报业务应用和GRAPES模式研发等有限应用的跨系统的动态统一调度,实现业务应用异地备份和可靠运行。

      未来的国家级异地业务应急备份中心,将提供高性能计算系统和存储系统备份能力,支撑国家级数值天气预报业务系统的异地运行。

参考文献 (75)

目录

    /

    返回文章
    返回