留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

BCCAGCM模式在神威·太湖之光系统的优化

魏敏 王彬 何香 孙俊 姜小成 肖洒 张莉 徐金秀

魏敏, 王彬, 何香, 等. BCCAGCM模式在神威·太湖之光系统的优化. 应用气象学报, 2019, 30(4): 502-512. DOI: 10.11898/1001-7313.20190410..
引用本文: 魏敏, 王彬, 何香, 等. BCCAGCM模式在神威·太湖之光系统的优化. 应用气象学报, 2019, 30(4): 502-512. DOI: 10.11898/1001-7313.20190410.
Wei Min, Wang Bin, He Xiang, et al. Optimizing BCCAGCM on sunway taihulight. J Appl Meteor Sci, 2019, 30(4): 502-512. DOI:  10.11898/1001-7313.20190410.
Citation: Wei Min, Wang Bin, He Xiang, et al. Optimizing BCCAGCM on sunway taihulight. J Appl Meteor Sci, 2019, 30(4): 502-512. DOI:  10.11898/1001-7313.20190410.

BCCAGCM模式在神威·太湖之光系统的优化

DOI: 10.11898/1001-7313.20190410
资助项目: 

国家重点研究发展计划 2016YFA0602102

公益性行业(气象)科研专项 GYHY201306062

详细信息
    通信作者:

    王彬, 邮箱:wangbin@cma.gov.cn

Optimizing BCCAGCM on Sunway TaihuLight

  • 摘要: 开展气象数值模式在神威·太湖之光系统的移植与优化,对研究模式与新型计算架构的适应性有重要意义。该文以BCCAGCM模式为研究对象,将其移植到神威·太湖之光全国产异构众核计算系统,进行性能分析,对模式动力框架和物理过程计算结构进行调整,将计算核心段采用OpenACC技术进行众核加速优化,大量代码进行算法重构。结果表明:各核心段计算效率基本达到未优化的3倍左右,最高可达14倍左右,将各核心段集成,形成异构众核集成版本,可正确、稳定运行,计算误差合理。在不同并行规模,采用从核对模式整体计算进行加速效果比较稳定,基本保持在1.9倍,26000核并行规模动力试验并行效率约70%,其他试验约为57%。
  • 图  1  SW26010异构众核处理器架构

    Fig. 1  General architecture of the SW26010 processor

    图  2  神威·太湖之光计算系统软件环境组成

    Fig. 2  Software environment composition of Sunway TaihuLight

    图  3  神威·太湖之光OpenACC编译

    Fig. 3  Compilation process of Sunway TailhuLight OpenACC

    图  4  神威·太湖之光OpenACC执行模型

    Fig. 4  Execution model of Sunway TaihuLight OpenACC

    图  5  神威·太湖之光OpenACC存储模型

    Fig. 5  Storage model of Sunway TaihuLight OpenACC

    图  6  BCCAGCM模式计算框架

    Fig. 6  Computing framework of BCCAGCM

    图  7  BCCAGCM模式核心段加速效果及时间占比

    Fig. 7  The acceleration effect of major kernels of BCCAGCM and their proportions in the total runtime

    图  8  BCCAGCM模式主从核计算相对主核计算加速效果

    Fig. 8  The acceleration effect of BCCAGCM comparing the performance of the model running on MPEs and CPE clusters against the performance of the model running on only MPEs

    图  9  BCCAGCM模式计算加速比

    Fig. 9  The speedup of BCCAGCM computing

    图  10  BCCAGCM模式计算并行效率

    Fig. 10  The parallel efficiency of BCCAGCM computing

    表  1  BCCAGCM模式计算核心段

    Table  1  Major kernels of BCCAGCM

    函数功能 百分比/%
    重力波过程 23.09
    勒让德逆变换对称分量系数计算 5.15
    勒让德逆变换反对称分量系数计算 4.75
    短波辐射过程 1.32
    动力插值 0.91
    大尺度凝结降水过程 0.88
    下载: 导出CSV
  • [1] 赵立成.气象信息系统.北京:气象出版社, 2011.
    [2] 沈学顺, 苏勇, 胡江林, 等.GRAPES_GFS全球中期预报系统的研发和业务化.应用气象学报, 2017, 28(1):1-10. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20170101&flag=1
    [3] 王金成, 陆慧娟, 韩威, 等.GRAPES全球三维变分同化业务系统性能.应用气象学报, 2017, 28(1):11-24. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20170102&flag=1
    [4] 赵立成, 沈文海, 肖华东, 等.高性能计算技术在气象领域的应用.应用气象学报, 2016, 27(5):550-558. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20160504&flag=1
    [5] 刘鑫, 郭恒, 孙茹君, 等.神威太湖之光计算机系统大规模应用特征分析与E级可扩展性研究.计算机学报, 2018, 41(10):2209-2220. doi:  10.11897/SP.J.1016.2018.02209
    [6] 黄丽萍, 陈德辉, 邓莲堂, 等.GRAPES_Meso4.0主要技术改进和预报效果检验.应用气象学报, 2017, 28(1):25-37. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20170103&flag=1
    [7] 麻素红, 张进, 沈学顺, 等.2016年GRAPES_TYM改进及对台风预报影响.应用气象学报, 2018, 29(3):257-269. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20180301&flag=1
    [8] 刘永柱, 张林, 金之雁.GRAPES全球切线性和伴随模式的调优.应用气象学报, 2017, 28(1):62-71. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20170106&flag=1
    [9] Mielikainen J.Intel Xeon Phi accelerated Weather Research and Forecasting (WRF) Goddard microphysics scheme.Geosci Model Dev Discuss, 2014, 7:8941-8973. doi:  10.5194/gmdd-7-8941-2014
    [10] Huang Melin, Huang Bormin, Gu Lingjia, et al.Parallel GPU architecture framework for the WRF single moment 6-class microphysics scheme.Comput Geosci, 2015, 83:17-26. doi:  10.1016/j.cageo.2015.06.014
    [11] Mark Govett.Parallelization of the FV3 Dycore for GPU and MIC Processors.17th Workshop on HPC in Meteorology, ECMWF, 2016.
    [12] Fuhrer O, Chadha T, Hoefler T, et al.Near-global climate simulation at 1 km resolution:Establishing a performance baseline on 4888 GPUs with COSMO 5.0.Geosci Model Dev, 2017, 11(4):1665-1681.
    [13] Mikko Byckling.IFS RAPS14 Benchmark on 2nd Generation Intel Xeon Phi Processor.17th Workshop on HPC in Meteorology, ECMWF, 2016.
    [14] Sami Saarinen.Using OpenACC in IFS Physics' Cloud Scheme (CLOUDSC).16th Workshop on HPC in Meteorology, ECMWF, 2014.
    [15] Xu S, Huang X, Oey L Y, et al.POM.gpu-v1.0:A GPU-based Princeton Ocean Model.Geosci Model Dev, 2015, 8:2815-2827. doi:  10.5194/gmd-8-2815-2015
    [16] Sun J, Fu J S, Drake J B, et al.Computational benefit of GPU optimization for the atmospheric chemistry modeling.J Adv Model Earth Sys, 2018, 10:1952-1969. doi:  10.1029/2018MS001276
    [17] 方宝辉, 徐金秀, 魏敏, 等.BCC_AGCM_T106在Intel众核上混合异构编程与优化研究.计算机科学与探索, 2015, 9(9):1093-1099. http://d.old.wanfangdata.com.cn/Periodical/jsjkxyts201509010
    [18] Fu H, Yin W, Yang G, et al.18.9-Pflops Nonlinear Earthquake Simulation on Sunway TaihuLight: Enabling Depiction of 18-Hz and 8-meter Scenarios.The International Conference for High Performance Computing, Networking, Storage and Analysis, 2017: 1-12.
    [19] Zheng F, Li H L, Lv H, et al.Cooperative computing techniques for a deeply fused and heterogeneous many-core processor architecture.J Comput Sci Technol, 2015, 30(1):145-162. doi:  10.1007/s11390-015-1510-9
    [20] 漆锋滨."神威·太湖之光"超级计算机.中国计算机学会通讯, 2017, 13(10):16-22. http://d.old.wanfangdata.com.cn/Periodical/jsjxb201709007
    [21] Fu Haohuan, Liao Junfeng, Yang Jinzhe, et al.The Sunway TaihuLight supercomputer:System and applications.Sci China Inform Sci, 2016, 59(7):072001. doi:  10.1007/s11432-016-5588-7
    [22] 陈国良.并行计算.北京:高等教育出版社, 1999.
    [23] 孙晨, 王彬, 顾文静, 等.基于OpenACC的GRAPES_GLOBAL模式长波辐射异构并行化研究.气象科技进展, 2018, 8(1):197-202. doi:  10.3969/j.issn.2095-1973.2018.01.027
    [24] 何沧平.OpenACC并行编程实战.北京:机械工业出版社, 2017.
    [25] 吴统文, 宋连春, 李伟平, 等.北京气候中心气候系统模式研发进展——在气候变化研究中的应用.气象学报, 2014, 72(1):12-29. doi:  10.3969/j.issn.1005-0582.2014.01.003
    [26] Wu T, Yu R, Zhang F, et al.The Beijing Climate Center atmospheric general circulation model:Description and its performance for the present-day climate.Climate Dyn, 2010, 34:123-147. doi:  10.1007/s00382-008-0487-2
    [27] 魏敏.气象高性能计算应用服务环境适应性研究.气象, 2015, 41(1):92-97. http://d.old.wanfangdata.com.cn/Periodical/qx201501011
    [28] 魏敏.BCC_CSM气候系统模式移植优化及其气候模拟验证.气象与环境学报, 2015, 31(1):101-105. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=lnqx2015010016
    [29] 张萌, 于海鹏, 黄建平, 等.GRAPES_GFS2.0模式系统误差评估.应用气象学报, 2018, 29(5):571-583. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20180506&flag=1
    [30] 韦青, 李伟, 彭颂, 等.国家级天气预报检验分析系统建设与应用.应用气象学报, 2019, 30(2):245-256. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20190211&flag=1
  • 加载中
图(10) / 表(1)
计量
  • 摘要浏览量:  3266
  • HTML全文浏览量:  1360
  • PDF下载量:  23
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-03-17
  • 修回日期:  2019-05-08
  • 刊出日期:  2019-07-31

目录

    /

    返回文章
    返回