任务调度方式 | 平均调度延迟/ms | 平均计算资源使用率/% | |
CPU | 内存 | ||
数据感知调度 | 11 | 36.7 | 12.1 |
逐1 s定时扫描目录 | 502 | 51.1 | 11.2 |
逐10 s定时扫描目录 | 3784 | 49.1 | 10.5 |
Citation: | Huo Qing, He Wenchun, Gao Feng, et al. Design and application of meteorological algorithm scheduling framework based on data perception technology. J Appl Meteor Sci, 2024, 35(4): 502-512. DOI: 10.11898/1001-7313.20240410. |
Table 1 Comparison of average performance between data-arrival scheduling and timer-triggered scheduling for algorithm of single radar product from 1300 BT to 1400 BT on 5 Feb 2024
任务调度方式 | 平均调度延迟/ms | 平均计算资源使用率/% | |
CPU | 内存 | ||
数据感知调度 | 11 | 36.7 | 12.1 |
逐1 s定时扫描目录 | 502 | 51.1 | 11.2 |
逐10 s定时扫描目录 | 3784 | 49.1 | 10.5 |
Table 2 Algorithms based on data-arrival scheduling in national operations of CMA Big Data and Cloud Platform
序号 | 算法名称 | 数据源 | 所属业务系统 | 平均日调度次数 | 日平均调度延迟/ms |
1 | 时段内最高气温算法 | 中国地面逐小时数据 | 气象服务信息系统 | 2 | 25 |
2 | 雷达单站产品生成算法 | 天气雷达全体扫标准格式基数据 | 面向实况应用的雷达实况产品系统 | 46375 | 15 |
3 | 单站雷达流数据处理算法 | 天气雷达逐仰角标准格式基数据 | 面向实况应用的雷达实况产品系统 | 507385 | 110 |
4 | 基于位置的实况服务-天气现象反演算法 | 全国逐小时总云量融合实况分析产品(0.05×0.05)/中国区域多源融合实况分析1 km逐小时温湿风产品/中国区域多源融合实况分析1 km逐10 min降水产品 | 基于位置的实况服务系统 | 288 | 14 |
5 | 微波辐射计数据产品文件质量控制算法 | 微波辐射计基数据 | 基础数据产品生产 | 64918 | 101 |
6 | 逐小时区域极值统计算法 | 中国地面逐小时数据 | 基础统计产品加工系统 | 24 | 6 |
7 | 基于GRAPES数值预报业务系统的全球模式预报算法 | GRAPES_GFS 0.25°原始分辨率产品 | 数值预报业务系统产品制作平台 | 244 | 57 |
8 | 天气雷达单站质量控制产品生成算法 | 天气雷达全体扫标准格式基数据 | 天气雷达拼图系统V3.0 | 46075 | 98 |
9 | 天气雷达组网拼图基本反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网基本反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
10 | 天气雷达组网拼图组合反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网组合反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 31 |
11 | 天气雷达组网拼图回波顶高图像产品生成算法 | 天气雷达拼图系统V3.0组网回波顶高产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
12 | 天气雷达组网拼图垂直积分液态水含量图像产品生成算法 | 天气雷达拼图系统V3.0组网垂直积分液态水含量产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
13 | 天气雷达组网拼图1 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网1 h降水估测产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
14 | 天气雷达组网拼图雨强图像产品生成算法 | 天气雷达拼图系统V3.0组网雨强产品 | 天气雷达拼图系统V3.0 | 240 | 4 |
15 | 天气雷达组网拼图3 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网3 h降水估测产品 | 天气雷达拼图系统V3.0 | 24 | 4 |
16 | 天气雷达组网拼图24 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网24 h降水估测产品 | 天气雷达拼图系统V3.0 | 24 | 4 |
17 | 天气雷达组网拼图未经质量控制组合反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网未质控组合反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
18 | GFS原始数据绘图算法 | GRAPES_GFS 0.25°原始分辨率产品 | 西北区域人影指挥系统 | 244 | 57 |
19 | MESO原始数据绘图算法 | 中国气象局区域模式CMA-MESO数值预报产品(0.03×0.03) | 西北区域人影指挥系统 | 368 | 56 |
Table 3 Algorithms based on data-arrival scheduling in provincial operations of CMA Big Data and Cloud Platform
序号 | 算法名称 | 数据源 | 所属业务系统 | 所属单位 | 平均日调度次数 | 日平均调度延迟/ms |
1 | 黑龙江天气雷达拼图V3.0组网回波顶高图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网回波顶高产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 47 |
2 | 黑龙江天气雷达拼图V3.0组网3 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网3 h降水估测产品(1 h分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 24 | 47 |
3 | 黑龙江天气雷达拼图V3.0组网雨强图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网雨强产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 51 |
4 | 黑龙江天气雷达拼图V3.0组网1 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网1 h降水估测产品(6 min分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 240 | 44 |
5 | 黑龙江天气雷达拼图V3.0组网24 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网24 h降水估测产品(1 h分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 24 | 8 |
6 | 黑龙江天气雷达拼图V3.0未经质量控制组网组合反射率因子图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网未经质量控制组合反射率因子产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 45 |
7 | 黑龙江天气雷达拼图V3.0组网组合反射率因子图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网组合反射率因子产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 55 |
8 | 黑龙江天气雷达拼图V3.0组网液态垂直积分液态水含量图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网垂直积分液态水含量产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 49 |
9 | 单站逐仰角雷达基数据解码算法 | 天气雷达逐仰角标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 23173 | 461 |
10 | 单站全体扫雷达基数据解码算法 | 天气雷达全体扫标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 1300 | 580 |
11 | 单站雷达降水粒子相态识别算法 | 天气雷达逐仰角标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 23173 | 91 |
12 | 单站逐仰角X波段雷达基数据解码算法 | X波段天气雷达逐仰角基数据 | 实况融合业务系统 | 江西省气象局 | 11674 | 531 |
13 | 雷达基数据解析算法 | 天气雷达逐仰角标准格式基数据 | 威海市气象信息服务综合业务平台 | 山东省气象局 | 19320 | 8 |
[1] |
Tian Z J, Huang Z C, Zhang Y N. Review of task scheduling methods in cloud computing environment. Comput Eng Appl, 2021, 57(2): 1-11. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202102003.htm
|
[2] |
Chen H H, Cui X L, Wang Y J. Summary of task scheduling algorithms based on multiple cloud environments. Appl Res Comput, 2023, 40(10): 2889-2895. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ202310002.htm
|
[3] |
Yang G, Zhao X, Huang J. Survey on task scheduling algorithms for cloud computing. Comput Syst Appl, 2020, 29(3): 11-19. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY202003003.htm
|
[4] |
Cao Y, Li X H, Liu Z L, et al. Review of big data workflow orchestration and management system in cloud environment. Comput Mod, 2022(1): 41-53. https://www.cnki.com.cn/Article/CJFDTOTAL-JYXH202201007.htm
|
[5] |
Zhao L C, Shen W H, Xiao H D, et al. The application of high performance computing technology in meteorological field. J Appl Meteor Sci, 2016, 27(5): 550-558. doi: 10.11898/1001-7313.20160504
|
[6] |
Zhao C Y, Sun J, Xiao H D, et al. Application research of workflow-based meteorological job scheduling on super-computing. Comput Technol Dev, 2022, 32(9): 193-199. https://www.cnki.com.cn/Article/CJFDTOTAL-WJFZ202209030.htm
|
[7] |
Zhang M, Yang X, Zou L, et al. Application of job scheduling software LoadLeveler in meteorological mode. Meteor Sci Technol, 2021, 49(1): 63-68. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ202101010.htm
|
[8] |
Zhu Z, Shi C X, Liu R X, et al. Research and development of three-dimensional cloud merging analysis operation system (3DCloudA-V1.0) in China. Meteor Sci Technol, 2021, 49(1): 55-62. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ202101009.htm
|
[9] |
Ma Q, Yan J H, Wei M, et al. Implementation and application of BCC CMIP6 experimental data sharing platform. J Appl Meteor Sci, 2022, 33(5): 617-627. doi: 10.11898/1001-7313.20220509
|
[10] |
Zhang J, Sun J, Shen X S, et al. Key model technologies of CMA-GFS V4.0 and application to operational forecast. J Appl Meteor Sci, 2023, 34(5): 513-526. doi: 10.11898/1001-7313.20230501
|
[11] |
He W C, Gao F, Xu Y, et al. Design and implementation of special data service system for climate monitoring. J Appl Meteor Sci, 2012, 23(5): 624-630. http://qikan.camscma.cn/article/id/20120514
|
[12] |
Xiong A Y, Zhao F, Wang Y, et al. Design and implementation of China Integrated Meteorological Information Sharing System(CIMISS). J Appl Meteor Sci, 2015, 26(4): 500-512. doi: 10.11898/1001-7313.20150412
|
[13] |
Sun C, Huo Q, Ren Z H, et al. Design and implementation of surface meteorological data statistical processing system. J Appl Meteor Sci, 2018, 29(5): 630-640. doi: 10.11898/1001-7313.20180511
|
[14] |
Lü Z L, Bai X P, Xue F. WebGIS-based meteorological service system and its key technology. J Appl Meteor Sci, 2018, 29(1): 120-128. doi: 10.11898/1001-7313.20180111
|
[15] |
Feng D E, Tang W, Wang M H, et al. Key technologies of automatic processing of meteorological service products based on WebGIS. Meteor Environ Sci, 2020, 43(1): 130-136. https://www.cnki.com.cn/Article/CJFDTOTAL-HNQX202001017.htm
|
[16] |
Gu W J, Wang P, Dai Q, et al. Design and implementation of international meteorological communication data collection and management system. Meteor Sci Technol, 2023, 51(1): 31-39. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ202301004.htm
|
[17] |
Li Y, Wang G F. Design and implementation of Meteorological Disaster Risk Management System. J Appl Meteor Sci, 2022, 33(5): 628-640. 10.11898/1001-7313.20220510
|
[18] |
Yang H P, Zhang Q, Luo B, et al. Construction and application of Meteorological Integrated Command Platform. J Appl Meteor Sci, 2023, 34(1): 117-128. doi: 10.11898/1001-7313.20230110
|
[19] |
Liang L, Ma S Q, Teng Y P, et al. Construction and application of Weather Radar Aerial Ecological Monitoring System. J Appl Meteor Sci, 2023, 34(5): 630-640. doi: 10.11898/1001-7313.20230511
|
[20] |
Huo Q, He W C, He L, et al. Design and application of algorithm intensive environment for CMA big data and cloud platform. J Appl Meteor Sci, 2024, 35(1): 80-89. doi: 10.11898/1001-7313.20240107
|
[21] |
Zhao F, Xiong A Y, Zhang X Y, et al. Technical characteristics of the architecture design of China Integrated Meteorological Information Sharing System. J Appl Meteor Sci, 2017, 28(6): 750-758. doi: 10.11898/1001-7313.20170610
|
[22] |
Sun C, Xiao W M, Chen Y T, et al. Design of real-time monitoring system of integrated meteorological operation. Adv Meteor Sci Technol, 2018, 8(1): 153-157. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKZ201801037.htm
|
[23] |
Zeng C Y, Li J X. Redis application in cache system. Microcomput Appl, 2013, 32(12): 11-13. https://www.cnki.com.cn/Article/CJFDTOTAL-WXJY201312006.htm
|
[24] |
Li Y, Gu N J, Huang Z S, et al. Research and optimization of redis cluster reliability. Comput Eng, 2018, 44(5): 40-46. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201805007.htm
|
[25] |
Jaramillo D, Nguyen D V, Smart R. Leveraging Microservices Architecture by Using Docker Technology//Southeast Con. IEEE, 2016: 1-5.
|
[26] |
Xu Y J, Ni X L, Zheng B, et al. Design and application of live weather data service interface based on user's location. Comput Syst Appl, 2023, 32(5): 77-86. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY202305009.htm
|