留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一个精细粒度实时计算资源管理系统

王彬 宗翔 魏敏

王彬, 宗翔, 魏敏. 一个精细粒度实时计算资源管理系统. 应用气象学报, 2008, 19(4): 507-512..
引用本文: 王彬, 宗翔, 魏敏. 一个精细粒度实时计算资源管理系统. 应用气象学报, 2008, 19(4): 507-512.
Wang Bin, Zong Xiang, Wei Min. A fine-grained, real time HPC resource management system. J Appl Meteor Sci, 2008, 19(4): 507-512.
Citation: Wang Bin, Zong Xiang, Wei Min. A fine-grained, real time HPC resource management system. J Appl Meteor Sci, 2008, 19(4): 507-512.

一个精细粒度实时计算资源管理系统

资助项目: 

中国气象局气象新技术推广项目 CMATG2008M07

科技部基础条件平台计划“国家气象网络计算应用系统建设”项目 2005DKA64005

A Fine-grained, Real Time HPC Resource Management System

  • 摘要: 由于相应业务系统软件的缺乏,国家级气象高性能计算机的资源管理措施落后于能力建设的发展。对此,该文提出了一个精细粒度实时计算资源管理系统。系统设计紧密围绕着目前竞争最为激烈的计算资源,采用资源虚拟单元GCU作为资源使用的计量单位,屏蔽了不同高性能计算机系统的体系结构差异,实现了计算资源细粒度的统一量化统计。系统可分为用户接口层、资源管理层、HPC系统层等3个层次,根据与网格平台软件不同结合方式以两种方式运行。在国家气象信息中心完成了系统的研发、部署和试验运行,根据试验运行的部分数据进行了用户单位和用户个人的计算资源使用的统计分析。目前,计算资源管理系统成果已成功应用到国家级气象高性能计算机计算资源的业务管理工作中。
  • 图  1  高性能计算资源管理系统设计方案

    Fig. 1  Design scheme of HPC resource management system

    图  2  主要用户单位的计算资源使用(a)及作业提交情况(b)

    Fig. 2  Computing resource usage(a)and job submissions(b)by major user organizations

    表  1  计算资源使用最多的(前10名)用户

    Table  1  Top 10 computing resource consumption users

    表  2  提交作业数最多的(前5名)用户

    Table  2  Top 5 job submission users

    表  3  使用计算资源最多的(前10名)作业

    Table  3  Top 10 computing resource consumption jobs

    表  4  各用户单位计算作业使用计算资源情况

    Table  4  Computing usage by user organizations

  • [1] 宗翔, 王彬.国家级气象高性能计算机管理与应用网络平台设计.应用气象学报, 2006, 17(5):629-634. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=200605106&flag=1
    [2] GOLD Home Page. http://www.enxsl.phi.gov/docs/mscf/gold/.
    [3] Jackson S. Allocation Management Solutions for High Performance Computing. Proceedings of PDPTA 2005, Athens: CSREA Press, 2006: 10-16. https://www.researchgate.net/publication/221133017_Allocation_Management_Solutions_for_High_Performance_Computing
    [4] Bodel B, Bradshaw R, DeBenedictus E, et al. Scalable system software: A component-based approach. Journal of Physics, 2005, 16: 546-550. doi:  10.1088/1742-6596/16/1/075
    [5] PostgreSQL 8.1.4 Documentation. http://www.postgresql.org/files/documentation/pdf/8.1/postgresql-8, 1-A4.pdf, 2006.
    [6] 王彬.国家气象网络计算应用节点门户系统的设计与实现.气象科技, 2006, 34(增刊): 5-9. http://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ2006S1001.htm
    [7] 王彬, 魏敏, 刘桂英.基于NMIC计算网格平台的MM5业务模式共享系统.2006年中国气象学会信息技术在气象领域的开发应用研讨会论文集, 2006: 145-151.
    [8] 肖侬, 任浩, 徐志伟, 等.基于资源目录技术的网格系统软件设计与实现.计算机研究与发展, 2002, 39(8): 902-906. http://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ200208002.htm
    [9] 虞益诚.基于资源管理的网络技术探究.计算机应用与软件, 2005, 22(7): 69-71. http://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ200507029.htm
    [10] 郑然, 李胜利, 金海.网格资源管理与调度模型的研究.华中科技大学学报, 2001, 29(12): 87-89. http://www.cnki.com.cn/Article/CJFDTOTAL-HZLG200112030.htm
    [11] 李春林, 卢正鼎, 李腊元.基于Agent的计算网格资源管理.武汉理工大学学报, 2003, 27(1): 7-10. http://www.cnki.com.cn/Article/CJFDTOTAL-JTKJ200301002.htm
    [12] Czajkowski K, Foster I, Karonis N, et al. A Resource Manage ment Architecture for Metacomputing Systems. Proc IPPS/SPDP' 98 Workshop on Job Scheduling Strategies for Parallel Processing, 1998: 62-82. doi:  10.1007%2FBFb0053981
    [13] Czajkowski K, Foster I, Kesselman C. Resource Co-Allocation in Computational Grids. Proceedings of the Eighth IEEE International Symposium on High Performance Distributed Computing(HPDC-8), 1999: 219-228.
    [14] Foster I. The grid: A new infrastructure for 21st century science. Physics Today, 2002, 55(2):42-47. doi:  10.1063/1.1461327
    [15] Foster I, Kesselman C, Tuecke S. The anatomy of the grid: En abling scalable virtual organizations. International Journal of Supercomputer Applications, 2001, 15(3):200-222. http://citeseerx.ist.psu.edu/showciting?cid=1222281
    [16] 王涌, 肖侬, 王意洁, 等.元计算系统的一个可扩展层次型资源管理模型.计算机研究与发展. 2002, 39(8): 907-912. http://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ200208003.htm
  • 加载中
图(2) / 表(4)
计量
  • 摘要浏览量:  3571
  • HTML全文浏览量:  642
  • PDF下载量:  1910
  • 被引次数: 0
出版历程
  • 收稿日期:  2007-07-26
  • 修回日期:  2008-04-07
  • 刊出日期:  2008-08-31

目录

    /

    返回文章
    返回