留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

MICAPS4服务端系统架构设计

王若曈 王建民 黄向东 董一峰 龙明盛

王若曈, 王建民, 黄向东, 等. MICAPS4服务端系统架构设计. 应用气象学报, 2018, 29(1): 1-12. DOI: 10.11898/1001-7313.20180101..
引用本文: 王若曈, 王建民, 黄向东, 等. MICAPS4服务端系统架构设计. 应用气象学报, 2018, 29(1): 1-12. DOI: 10.11898/1001-7313.20180101.
Wang Ruotong, Wang Jianmin, Huang Xiangdong, et al. The architecture design of MICAPS4 server system. J Appl Meteor Sci, 2018, 29(1): 1-12. DOI:  10.11898/1001-7313.20180101.
Citation: Wang Ruotong, Wang Jianmin, Huang Xiangdong, et al. The architecture design of MICAPS4 server system. J Appl Meteor Sci, 2018, 29(1): 1-12. DOI:  10.11898/1001-7313.20180101.

MICAPS4服务端系统架构设计

DOI: 10.11898/1001-7313.20180101
资助项目: 中国气象局“2015年山洪地质灾害防治气象保障工程建设”
详细信息
    通信作者:

    王若曈, E-mail:wangruo02@mails.thu.edu.cn

The Architecture Design of MICAPS4 Server System

  • 摘要: MICAPS4体系采用客户端/服务器的系统架构,其中服务端系统是MICAPS4的重要部分,利用分布式存储与分布式计算技术,构建可容纳102 TB量级的气象实时数据,千万数据总量,面向数百并发用户的服务器集群系统。MICAPS4服务端系统在国内率先实现全部气象实时数据由文件到数据库、从集中式系统到分布式系统的迁移,该系统自2015年起在全国推广使用。在海量气象数据和大量用户并发访问的环境下,表现出很高的稳定性和优越的读写性能,同时具有便捷的扩展性和可维护性。MICAPS4服务端系统分为分布式存储系统、分布式前处理系统、站点实况轮询系统、查询服务器系统和监控系统5个子系统,分布式存储子系统为MICAPS4客户端提供了近实时数据的高速随机与顺序读取服务,分布式前处理系统利用对等分布式架构实现了海量气象实时数据的流式计算,站点实况轮询系统实现了跨系统的实况数据异构副本的同步功能,查询服务器系统利用多线程服务器技术实现了MICAPS4客户端的实时计算请求,监控系统利用部署于每个节点的探针实现监控信息的主动上报。
  • 图  1  CIMISS-MICAPS4服务端系统架构

    Fig. 1  CIMISS-MICAPS4 server system architecture

    图  2  数据前处理系统

    Fig. 2  Data pre-processing system

    图  3  站点数据轮询系统

    Fig. 3  Station data polling system

    图  4  查询服务器的数据检索和实时计算

    Fig. 4  Data retrieval and real-time computing of data query server

    图  5  查询服务器的数据写入

    Fig. 5  Data writing of data query server

    图  6  监控探针与系统集成

    Fig. 6  Monitor agent and system integration

  • [1] 李月安, 曹莉, 高嵩, 等.MICAPS预报业务平台现状与发展.气象, 2010, 36(7):50-55. doi:  10.7519/j.issn.1000-0526.2010.07.010
    [2] 高嵩, 毕宝贵, 李月安, 等.MICAPS4预报业务系统建设进展与未来发展.应用气象学报, 2017, 28(5):513-530. doi:  10.11898/1001-7313.20170501
    [3] Batory D S. Concepts for a Database System Compiler//Proceedings of the Seventh ACM SIGACT-SIGMOD-SIGART Symposium on Principles of Database Systems, New York, USA: ACM, 1988: 184-192.
    [4] 龚健雅.空间数据库管理系统的概念与发展趋势.测绘科学, 2001, 26(3):4-9. http://www.bookask.com/book/1100701.html
    [5] 齐贵滨, 周尔滨, 鞠洋.利用samba服务实现信息共享.黑龙江气象, 2012, 28(4):40-41. http://www.cqvip.com/QK/98099X/201104/40499411.html
    [6] 赵春燕, 孙英锐, 董峰, 等.高性能气象数据存储集群及在线扩展技术应用.计算技术与自动化, 2013, 32(3):117-121. http://d.old.wanfangdata.com.cn/Periodical/jsjsyzdh201303026
    [7] 肖华东, 孙婧, 张玺, 等.MARS软件在数值预报模式产品数据管理中的应用.应用气象学报, 2015, 26(2):247-256. doi:  10.11898/1001-7313.20150213
    [8] 沈文海, 赵芳, 高华云, 等.国家级气象资料存储检索系统的建立.应用气象学报, 2004, 15(6):727-736. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20040690&flag=1
    [9] 钱建梅, 孙安来, 徐喆, 等.风云气象卫星数据存档与服务系统.应用气象学报, 2012, 23(3):369-376. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20120314&flag=1
    [10] 李集明, 沈文海, 王国复.气象信息共享平台及其关键技术研究.应用气象学报, 2006, 17(5):621-628. doi:  10.11898/1001-7313.20060505
    [11] Dong B, Qiu J, Zheng Q, et al. A Novel Approach to Improving the Efficiency of Storing and Accessing Small Files on Hadoop: A Case Study by PowerPoint Files//2010 IEEE International Conference on Services Computing (SCC). 2010: 65-72.
    [12] 刘高军, 王帝澳.基于Redis的海量小文件分布式存储方法研究.计算机工程与科学, 2013, 35(10):58-64. doi:  10.3969/j.issn.1007-130X.2013.10.007
    [13] 王若曈, 黄向东.海量气象数据实时解析与存储系统的设计与实现.计算机工程与科学, 2015, 37(11):58-64. http://www.wenkuxiazai.com/doc/efc10787f7ec4afe04a1dfd4-2.html
    [14] 肖卫青, 杨润芝.Hadoop在气象数据密集型处理领域中的应用.气象科技, 2015, 43(5):823-828. https://www.cnki.com.cn/qikan-QXKJ201703006.html
    [15] 陈东辉, 曾乐.基于HBase的气象地面分钟数据分布式存储系统.计算机应用, 2014, 34(9):2617-2621. doi:  10.11772/j.issn.1001-9081.2014.09.2617
    [16] 李永生, 曾沁, 徐美红, 等.基于Hadoop的数值预报产品服务平台设计与实现.应用气象学报, 2015, 26(1):122-128. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20150113&flag=1
    [17] Videla A, Williams J J W. RabbitMQ in action: Distributed messaging for everyone. Manning, 2012.
    [18] Hintjens P. ZeroMQ: Messaging for Many Applications. O'Reilly Media, Inc, 2013.
    [19] Kreps J, Narkhede N, Rao J. Kafka: A Distributed Messaging System for Log Processing//Proceedings of the NetDB. 2011: 1-7.
    [20] Toshniwal A, Taneja S, Shukla A, et al. Storm@twitter//Proceedings of the 2014 ACM SIGMOD International Conference on Management of data. ACM, 2014: 147-156.
    [21] Zaharia M, Chowdhury M, Das T, et al.Fast and interactive analytics over Hadoop data with Spark.USENIX Login, 2012, 37(4):45-51. https://www.usenix.org/publications/login/august-2012-volume-37-number-4/fast-and-interactive-analytics-over-hadoop-data
    [22] Carbone P, Katsifodimos A, Ewen S, et al.Apache Flink:Stream and batch processing in a single engine.Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 2015, 38(4):28-38. https://core.ac.uk/display/81032306
    [23] Ranjan R.Streaming big data processing in datacenter clouds.IEEE Cloud Computing, 2014, 1(1):78-83. doi:  10.1109/MCC.2014.22
    [24] Zaharia M, Chowdhury M, Das T, et al. Resilient distributed datasets: A Fault-tolerant Abstraction for In-memory Cluster Computing//Proceedings of the 9th USENIX conference on Networked Systems Design and Implementation. USENIX Association, 2012: 2.
    [25] 杨润芝, 马强, 李德泉, 等.内存转发模型在CIMISS数据收发系统中的应用.应用气象学报, 2012, 23(3):377-384. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20120315&flag=1
    [26] 邓莉, 王国复, 孙超, 等.基本气象资料共享系统建设.应用气象学报, 2004, 15(增刊Ⅰ):33-38. http://d.old.wanfangdata.com.cn/Periodical/yyqxxb2004z1005
    [27] 王国复, 李集明, 邓莉, 等.中国气象科学数据共享服务网总体设计与建设.应用气象学报, 2004, 15(增刊Ⅰ):10-16. http://d.old.wanfangdata.com.cn/Periodical/yyqxxb2004z1002
  • 加载中
图(6)
计量
  • 摘要浏览量:  3373
  • HTML全文浏览量:  1383
  • PDF下载量:  784
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-07-25
  • 修回日期:  2017-12-01
  • 刊出日期:  2018-01-31

目录

    /

    返回文章
    返回