留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

北京全球信息系统中心的数据缓存功能优化

王甫棣 姜立鹏 姚燕

王甫棣, 姜立鹏, 姚燕. 北京全球信息系统中心的数据缓存功能优化. 应用气象学报, 2014, 25(2): 242-248..
引用本文: 王甫棣, 姜立鹏, 姚燕. 北京全球信息系统中心的数据缓存功能优化. 应用气象学报, 2014, 25(2): 242-248.
Wang Fudi, Jiang Lipeng, Yao Yan. Optimization of data cache function in Beijing global information system center. J Appl Meteor Sci, 2014, 25(2): 242-248.
Citation: Wang Fudi, Jiang Lipeng, Yao Yan. Optimization of data cache function in Beijing global information system center. J Appl Meteor Sci, 2014, 25(2): 242-248.

北京全球信息系统中心的数据缓存功能优化

资助项目: 

公益性行业 (气象) 科研专项 GYHY200906057

详细信息
    通信作者:

    王甫棣, email: wangfd@cma.gov.cn

Optimization of Data Cache Function in Beijing Global Information System Center

  • 摘要: 世界气象组织信息系统 (WMO Information System,WIS) 是一个支撑全球气象数据交换共享的通用信息服务平台,北京全球信息系统中心作为WIS的核心功能中心之一,必须缓存最近24 h内的WMO全球交换数据以提供高效的数据访问服务。为了检查收集到的全球交换数据的合法性,需要校验每条数据是否存在与之匹配的元数据,这些元数据信息以关系型数据库方式存储在北京全球信息系统中心中。由于每日接收到的WMO全球交换数据文件个数多且收集时间分布不均,大量频繁的数据库查询操作导致处理性能下降,特别在数据密集收集的情况下容易产生较大延迟,直接影响业务的实时性。设计并实现一种基于内存对象缓存的应用优化现有通过数据库查询的校验方式,实现在内存中一次性载入元数据信息,并在内存中完成缓存数据校验的操作,以此来减少磁盘的读写访问,提升处理效率。此外,还通过多线程方法实现与缓存数据相关的功能,使该方案具有良好的扩展性。实际应用表明:数据缓存功能优化后能满足实时业务性能要求。
  • 图  1  数据缓存的物理存储结构

    Fig. 1  Physical storage structure of data cache

    图  2  2012年2月29日00:00—05:59缓存入口目录文件接收个数统计

    Fig. 2  The number of receiving files from data cache entry directory from 0000 UTC to 0559 UTC on 29 Feb 2012

    图  3  2012年2月29日00:25—00:35原有技术方案中元数据文件检索耗时

    Fig. 3  The metadata files retrieval consuming time in the original technical solutions from 0025 UTC to 0035 UTC on 29 Feb 2012

    图  4  数据缓存功能处理流程图

    Fig. 4  Workflow of data cache functionality

    图  5  基于哈希表的内存对象组织

    Fig. 5  Structure of the memory objects based on Hash Map

    图  6  多线程缓存处理类图

    Fig. 6  Class diagram of multi-threaded cache processing

    图  7  2012年2月29日13:00—13:40优化后缓存数据文件处理时间延迟

    Fig. 7  The data cache file processing delay in optimized technical solution from 1300 UTC to 1340 UTC on 29 Feb 2012

  • [1] 刘华, 周峥嵘.WIS-WMO未来信息系统.气象软科学, 2007, 83:143-150. http://www.cnki.com.cn/Article/CJFDTOTAL-JJSJ199508014.htm
    [2] Geoff L.The birth of WMO Information System.Bulletin of WMO, 2003, 55(4): 232-238.
    [3] 李湘, 王甫棣, 姜立鹏, 等.WIS的实现技术研究及应用.气象, 2011, 37(10):1301-1308. doi:  10.7519/j.issn.1000-0526.2011.10.014
    [4] 祝婷, 李湘.WMO信息系统中气象元数据的设计与实现.应用气象学报, 2012, 23(2):238-244. doi:  10.11898/1001-7313.20120213
    [5] 姜立鹏, 李湘.基于OAI-PMH协议的WMO信息系统元数据同步功能设计与实现.气象科技, 2012, 40(2):185-188. http://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ201202009.htm
    [6] 曹卫.基于XML的空间元数据系统的思考.计算机技术与发展, 2010, 20(7): 32-35. http://www.cnki.com.cn/Article/CJFDTOTAL-WJFZ201007010.htm
    [7] 周峥嵘, 王琤, 何文春.分布式气象元数据同步系统的探索研究.应用气象学报, 2010, 21(1): 121-128. doi:  10.11898/1001-7313.20100117
    [8] 高峰, 王国复, 喻雯, 等.气象数据文件快速下载服务系统的设计与实现.应用气象学报, 2010, 21(2): 243-249. doi:  10.11898/1001-7313.20100215
    [9] 王国复, 徐枫, 吴增祥.气象元数据标准与信息发布技术研究.应用气象学报, 2005, 16(1): 114-121. doi:  10.11898/1001-7313.20050115
    [10] Wang Fudi, Yao Yan, Li Xiang, et al.Establishment of WMO Information System in Beijing.Lecture Notes in Electrical Engineering, 2012, 100:520-527. doi:  10.1007%2F978-1-4471-2386-6_151
    [11] Robert H, David T, Eliot C.WMO Information System Functional Architecture.[2012-07-30].http://www.wmo.int/pages/prog/www/TEM/ET-WISC-Ⅲ/documents/WIS-FuncArch_current.doc.
    [12] Thomas D, Christian E, Husband R.WMO Information System Compliance Specifications of GISC, DCPC, and NC.[2012-07-30].http://www.wmo.int/pages/prog/www/WIS/documents/TechnicalSpecification1-2.doc.
    [13] 刘云生, 李国徽.实时内存数据库的装入.软件学报, 2000, 26(4):829-835. http://www.cnki.com.cn/Article/CJFDTOTAL-RJXB200006018.htm
    [14] 杨润芝, 马强, 李德泉, 等.内存转发模型在CIMISS数据收发系统中的应用.应用气象学报, 2012, 23(3): 377-384. http://qikan.camscma.cn/jams/ch/reader/view_abstract.aspx?file_no=20120315&flag=1
    [15] 杨艳, 李炜, 王纯.内存数据库在高速缓存方面的应用.现代电信科技, 2011(12):59-64. doi:  10.3969/j.issn.1002-5316.2011.12.019
    [16] 赵玉伟, 赵小雨, 乔木.缓存技术在B/S架构信息系统中的应用.计算机工程, 2008, 34(1):233-235. http://www.cnki.com.cn/Article/CJFDTOTAL-JSJC200801082.htm
    [17] 张震波, 杨鹤标, 马振华.基于LRU算法的Web系统缓存机制.计算机工程, 2006, 32(19):68-70. doi:  10.3969/j.issn.1000-3428.2006.19.025
    [18] 杨燕明, 鲁志军, 陈煜, 等.一种基于哈希索引的内存表模型.计算机应用与软件, 2012, 29(1):215-216. http://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ201201063.htm
    [19] 王甫棣, 姚燕, 李湘.基于XML的气象数据订阅系统设计.气象科技, 2012, 40(4):591-595. http://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ201204015.htm
  • 加载中
图(7)
计量
  • 摘要浏览量:  2967
  • HTML全文浏览量:  1038
  • PDF下载量:  1029
  • 被引次数: 0
出版历程
  • 收稿日期:  2012-11-05
  • 修回日期:  2013-11-22
  • 刊出日期:  2014-03-31

目录

    /

    返回文章
    返回