任务调度方式 | 平均调度延迟/ms | 平均计算资源使用率/% | |
CPU | 内存 | ||
数据感知调度 | 11 | 36.7 | 12.1 |
逐1 s定时扫描目录 | 502 | 51.1 | 11.2 |
逐10 s定时扫描目录 | 3784 | 49.1 | 10.5 |
Citation: | Huo Qing, He Wenchun, Gao Feng, et al. Design and application of meteorological algorithm scheduling framework based on data perception technology. J Appl Meteor Sci, 2024, 35(4): 502-512. DOI: 10.11898/1001-7313.20240410. |
Table 1 Comparison of average performance between data-arrival scheduling and timer-triggered scheduling for algorithm of single radar product from 1300 BT to 1400 BT on 5 Feb 2024
任务调度方式 | 平均调度延迟/ms | 平均计算资源使用率/% | |
CPU | 内存 | ||
数据感知调度 | 11 | 36.7 | 12.1 |
逐1 s定时扫描目录 | 502 | 51.1 | 11.2 |
逐10 s定时扫描目录 | 3784 | 49.1 | 10.5 |
Table 1 Comparison of average performance between data-arrival scheduling and timer-triggered scheduling for algorithm of single radar product from 1300 BT to 1400 BT on 5 Feb 2024
任务调度方式 | 平均调度延迟/ms | 平均计算资源使用率/% | |
CPU | 内存 | ||
数据感知调度 | 11 | 36.7 | 12.1 |
逐1 s定时扫描目录 | 502 | 51.1 | 11.2 |
逐10 s定时扫描目录 | 3784 | 49.1 | 10.5 |
Table 2 Algorithms based on data-arrival scheduling in national operations of CMA Big Data and Cloud Platform
序号 | 算法名称 | 数据源 | 所属业务系统 | 平均日调度次数 | 日平均调度延迟/ms |
1 | 时段内最高气温算法 | 中国地面逐小时数据 | 气象服务信息系统 | 2 | 25 |
2 | 雷达单站产品生成算法 | 天气雷达全体扫标准格式基数据 | 面向实况应用的雷达实况产品系统 | 46375 | 15 |
3 | 单站雷达流数据处理算法 | 天气雷达逐仰角标准格式基数据 | 面向实况应用的雷达实况产品系统 | 507385 | 110 |
4 | 基于位置的实况服务-天气现象反演算法 | 全国逐小时总云量融合实况分析产品(0.05×0.05)/中国区域多源融合实况分析1 km逐小时温湿风产品/中国区域多源融合实况分析1 km逐10 min降水产品 | 基于位置的实况服务系统 | 288 | 14 |
5 | 微波辐射计数据产品文件质量控制算法 | 微波辐射计基数据 | 基础数据产品生产 | 64918 | 101 |
6 | 逐小时区域极值统计算法 | 中国地面逐小时数据 | 基础统计产品加工系统 | 24 | 6 |
7 | 基于GRAPES数值预报业务系统的全球模式预报算法 | GRAPES_GFS 0.25°原始分辨率产品 | 数值预报业务系统产品制作平台 | 244 | 57 |
8 | 天气雷达单站质量控制产品生成算法 | 天气雷达全体扫标准格式基数据 | 天气雷达拼图系统V3.0 | 46075 | 98 |
9 | 天气雷达组网拼图基本反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网基本反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
10 | 天气雷达组网拼图组合反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网组合反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 31 |
11 | 天气雷达组网拼图回波顶高图像产品生成算法 | 天气雷达拼图系统V3.0组网回波顶高产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
12 | 天气雷达组网拼图垂直积分液态水含量图像产品生成算法 | 天气雷达拼图系统V3.0组网垂直积分液态水含量产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
13 | 天气雷达组网拼图1 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网1 h降水估测产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
14 | 天气雷达组网拼图雨强图像产品生成算法 | 天气雷达拼图系统V3.0组网雨强产品 | 天气雷达拼图系统V3.0 | 240 | 4 |
15 | 天气雷达组网拼图3 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网3 h降水估测产品 | 天气雷达拼图系统V3.0 | 24 | 4 |
16 | 天气雷达组网拼图24 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网24 h降水估测产品 | 天气雷达拼图系统V3.0 | 24 | 4 |
17 | 天气雷达组网拼图未经质量控制组合反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网未质控组合反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
18 | GFS原始数据绘图算法 | GRAPES_GFS 0.25°原始分辨率产品 | 西北区域人影指挥系统 | 244 | 57 |
19 | MESO原始数据绘图算法 | 中国气象局区域模式CMA-MESO数值预报产品(0.03×0.03) | 西北区域人影指挥系统 | 368 | 56 |
Table 2 Algorithms based on data-arrival scheduling in national operations of CMA Big Data and Cloud Platform
序号 | 算法名称 | 数据源 | 所属业务系统 | 平均日调度次数 | 日平均调度延迟/ms |
1 | 时段内最高气温算法 | 中国地面逐小时数据 | 气象服务信息系统 | 2 | 25 |
2 | 雷达单站产品生成算法 | 天气雷达全体扫标准格式基数据 | 面向实况应用的雷达实况产品系统 | 46375 | 15 |
3 | 单站雷达流数据处理算法 | 天气雷达逐仰角标准格式基数据 | 面向实况应用的雷达实况产品系统 | 507385 | 110 |
4 | 基于位置的实况服务-天气现象反演算法 | 全国逐小时总云量融合实况分析产品(0.05×0.05)/中国区域多源融合实况分析1 km逐小时温湿风产品/中国区域多源融合实况分析1 km逐10 min降水产品 | 基于位置的实况服务系统 | 288 | 14 |
5 | 微波辐射计数据产品文件质量控制算法 | 微波辐射计基数据 | 基础数据产品生产 | 64918 | 101 |
6 | 逐小时区域极值统计算法 | 中国地面逐小时数据 | 基础统计产品加工系统 | 24 | 6 |
7 | 基于GRAPES数值预报业务系统的全球模式预报算法 | GRAPES_GFS 0.25°原始分辨率产品 | 数值预报业务系统产品制作平台 | 244 | 57 |
8 | 天气雷达单站质量控制产品生成算法 | 天气雷达全体扫标准格式基数据 | 天气雷达拼图系统V3.0 | 46075 | 98 |
9 | 天气雷达组网拼图基本反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网基本反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
10 | 天气雷达组网拼图组合反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网组合反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 31 |
11 | 天气雷达组网拼图回波顶高图像产品生成算法 | 天气雷达拼图系统V3.0组网回波顶高产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
12 | 天气雷达组网拼图垂直积分液态水含量图像产品生成算法 | 天气雷达拼图系统V3.0组网垂直积分液态水含量产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
13 | 天气雷达组网拼图1 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网1 h降水估测产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
14 | 天气雷达组网拼图雨强图像产品生成算法 | 天气雷达拼图系统V3.0组网雨强产品 | 天气雷达拼图系统V3.0 | 240 | 4 |
15 | 天气雷达组网拼图3 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网3 h降水估测产品 | 天气雷达拼图系统V3.0 | 24 | 4 |
16 | 天气雷达组网拼图24 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网24 h降水估测产品 | 天气雷达拼图系统V3.0 | 24 | 4 |
17 | 天气雷达组网拼图未经质量控制组合反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网未质控组合反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
18 | GFS原始数据绘图算法 | GRAPES_GFS 0.25°原始分辨率产品 | 西北区域人影指挥系统 | 244 | 57 |
19 | MESO原始数据绘图算法 | 中国气象局区域模式CMA-MESO数值预报产品(0.03×0.03) | 西北区域人影指挥系统 | 368 | 56 |
Table 3 Algorithms based on data-arrival scheduling in provincial operations of CMA Big Data and Cloud Platform
序号 | 算法名称 | 数据源 | 所属业务系统 | 所属单位 | 平均日调度次数 | 日平均调度延迟/ms |
1 | 黑龙江天气雷达拼图V3.0组网回波顶高图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网回波顶高产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 47 |
2 | 黑龙江天气雷达拼图V3.0组网3 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网3 h降水估测产品(1 h分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 24 | 47 |
3 | 黑龙江天气雷达拼图V3.0组网雨强图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网雨强产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 51 |
4 | 黑龙江天气雷达拼图V3.0组网1 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网1 h降水估测产品(6 min分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 240 | 44 |
5 | 黑龙江天气雷达拼图V3.0组网24 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网24 h降水估测产品(1 h分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 24 | 8 |
6 | 黑龙江天气雷达拼图V3.0未经质量控制组网组合反射率因子图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网未经质量控制组合反射率因子产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 45 |
7 | 黑龙江天气雷达拼图V3.0组网组合反射率因子图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网组合反射率因子产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 55 |
8 | 黑龙江天气雷达拼图V3.0组网液态垂直积分液态水含量图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网垂直积分液态水含量产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 49 |
9 | 单站逐仰角雷达基数据解码算法 | 天气雷达逐仰角标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 23173 | 461 |
10 | 单站全体扫雷达基数据解码算法 | 天气雷达全体扫标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 1300 | 580 |
11 | 单站雷达降水粒子相态识别算法 | 天气雷达逐仰角标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 23173 | 91 |
12 | 单站逐仰角X波段雷达基数据解码算法 | X波段天气雷达逐仰角基数据 | 实况融合业务系统 | 江西省气象局 | 11674 | 531 |
13 | 雷达基数据解析算法 | 天气雷达逐仰角标准格式基数据 | 威海市气象信息服务综合业务平台 | 山东省气象局 | 19320 | 8 |
Table 3 Algorithms based on data-arrival scheduling in provincial operations of CMA Big Data and Cloud Platform
序号 | 算法名称 | 数据源 | 所属业务系统 | 所属单位 | 平均日调度次数 | 日平均调度延迟/ms |
1 | 黑龙江天气雷达拼图V3.0组网回波顶高图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网回波顶高产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 47 |
2 | 黑龙江天气雷达拼图V3.0组网3 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网3 h降水估测产品(1 h分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 24 | 47 |
3 | 黑龙江天气雷达拼图V3.0组网雨强图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网雨强产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 51 |
4 | 黑龙江天气雷达拼图V3.0组网1 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网1 h降水估测产品(6 min分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 240 | 44 |
5 | 黑龙江天气雷达拼图V3.0组网24 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网24 h降水估测产品(1 h分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 24 | 8 |
6 | 黑龙江天气雷达拼图V3.0未经质量控制组网组合反射率因子图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网未经质量控制组合反射率因子产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 45 |
7 | 黑龙江天气雷达拼图V3.0组网组合反射率因子图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网组合反射率因子产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 55 |
8 | 黑龙江天气雷达拼图V3.0组网液态垂直积分液态水含量图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网垂直积分液态水含量产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 49 |
9 | 单站逐仰角雷达基数据解码算法 | 天气雷达逐仰角标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 23173 | 461 |
10 | 单站全体扫雷达基数据解码算法 | 天气雷达全体扫标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 1300 | 580 |
11 | 单站雷达降水粒子相态识别算法 | 天气雷达逐仰角标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 23173 | 91 |
12 | 单站逐仰角X波段雷达基数据解码算法 | X波段天气雷达逐仰角基数据 | 实况融合业务系统 | 江西省气象局 | 11674 | 531 |
13 | 雷达基数据解析算法 | 天气雷达逐仰角标准格式基数据 | 威海市气象信息服务综合业务平台 | 山东省气象局 | 19320 | 8 |
[1] |
田倬璟, 黄震春, 张益农. 云计算环境任务调度方法研究综述. 计算机工程与应用, 2021, 57(2): 1-11. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202102003.htm
Tian Z J, Huang Z C, Zhang Y N. Review of task scheduling methods in cloud computing environment. Comput Eng Appl, 2021, 57(2): 1-11. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202102003.htm
|
[2] |
陈红华, 崔翛龙, 王耀杰. 基于多种云环境的任务调度算法综述. 计算机应用研究, 2023, 40(10): 2889-2895. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ202310002.htm
Chen H H, Cui X L, Wang Y J. Summary of task scheduling algorithms based on multiple cloud environments. Appl Res Comput, 2023, 40(10): 2889-2895. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ202310002.htm
|
[3] |
杨戈, 赵鑫, 黄静. 面向云计算的任务调度算法综述. 计算机系统应用, 2020, 29(3): 11-19. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY202003003.htm
Yang G, Zhao X, Huang J. Survey on task scheduling algorithms for cloud computing. Comput Syst Appl, 2020, 29(3): 11-19. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY202003003.htm
|
[4] |
曹禹, 李晓辉, 刘忠麟, 等. 云环境大数据工作流编排管理系统研究综述. 计算机与现代化, 2022(1): 41-53. https://www.cnki.com.cn/Article/CJFDTOTAL-JYXH202201007.htm
Cao Y, Li X H, Liu Z L, et al. Review of big data workflow orchestration and management system in cloud environment. Comput Mod, 2022(1): 41-53. https://www.cnki.com.cn/Article/CJFDTOTAL-JYXH202201007.htm
|
[5] |
赵立成, 沈文海, 肖华东, 等. 高性能计算技术在气象领域的应用. 应用气象学报, 2016, 27(5): 550-558. DOI: 10.11898/1001-7313.20160504
Zhao L C, Shen W H, Xiao H D, et al. The application of high performance computing technology in meteorological field. J Appl Meteor Sci, 2016, 27(5): 550-558. DOI: 10.11898/1001-7313.20160504
|
[6] |
赵春燕, 孙婧, 肖华东, 等. 基于工作流的气象超算作业调度应用研究. 计算机技术与发展, 2022, 32(9): 193-199. https://www.cnki.com.cn/Article/CJFDTOTAL-WJFZ202209030.htm
Zhao C Y, Sun J, Xiao H D, et al. Application research of workflow-based meteorological job scheduling on super-computing. Comput Technol Dev, 2022, 32(9): 193-199. https://www.cnki.com.cn/Article/CJFDTOTAL-WJFZ202209030.htm
|
[7] |
张明, 杨效, 邹丽, 等. 作业调度软件LoadLeveler在气象模式中的应用. 气象科技, 2021, 49(1): 63-68. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ202101010.htm
Zhang M, Yang X, Zou L, et al. Application of job scheduling software LoadLeveler in meteorological mode. Meteor Sci Technol, 2021, 49(1): 63-68. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ202101010.htm
|
[8] |
朱智, 师春香, 刘瑞霞, 等. 我国三维云融合分析业务系统(3DCloudA-V1.0)研制与开发. 气象科技, 2021, 49(1): 55-62. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ202101009.htm
Zhu Z, Shi C X, Liu R X, et al. Research and development of three-dimensional cloud merging analysis operation system (3DCloudA-V1.0) in China. Meteor Sci Technol, 2021, 49(1): 55-62. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ202101009.htm
|
[9] |
马强, 颜京辉, 魏敏, 等. 北京气候中心CMIP6数据共享平台及应用. 应用气象学报, 2022, 33(5): 617-627. DOI: 10.11898/1001-7313.20220509
Ma Q, Yan J H, Wei M, et al. Implementation and application of BCC CMIP6 experimental data sharing platform. J Appl Meteor Sci, 2022, 33(5): 617-627. DOI: 10.11898/1001-7313.20220509
|
[10] |
张进, 孙健, 沈学顺, 等. CMA-GFS V4.0模式关键技术研发和业务化. 应用气象学报, 2023, 34(5): 513-526. DOI: 10.11898/1001-7313.20230501
Zhang J, Sun J, Shen X S, et al. Key model technologies of CMA-GFS V4.0 and application to operational forecast. J Appl Meteor Sci, 2023, 34(5): 513-526. DOI: 10.11898/1001-7313.20230501
|
[11] |
何文春, 高峰, 许艳, 等. 气候监测业务专题数据服务系统的设计与实现. 应用气象学报, 2012, 23(5): 624-630. http://qikan.camscma.cn/article/id/20120514
He W C, Gao F, Xu Y, et al. Design and implementation of special data service system for climate monitoring. J Appl Meteor Sci, 2012, 23(5): 624-630. http://qikan.camscma.cn/article/id/20120514
|
[12] |
熊安元, 赵芳, 王颖, 等. 全国综合气象信息共享系统的设计与实现. 应用气象学报, 2015, 26(4): 500-512. DOI: 10.11898/1001-7313.20150412
Xiong A Y, Zhao F, Wang Y, et al. Design and implementation of China Integrated Meteorological Information Sharing System(CIMISS). J Appl Meteor Sci, 2015, 26(4): 500-512. DOI: 10.11898/1001-7313.20150412
|
[13] |
孙超, 霍庆, 任芝花, 等. 地面气象资料统计处理系统设计与实现. 应用气象学报, 2018, 29(5): 630-640. DOI: 10.11898/1001-7313.20180511
Sun C, Huo Q, Ren Z H, et al. Design and implementation of surface meteorological data statistical processing system. J Appl Meteor Sci, 2018, 29(5): 630-640. DOI: 10.11898/1001-7313.20180511
|
[14] |
吕终亮, 白新萍, 薛峰. 基于WebGIS的气象服务产品制作系统及关键技术. 应用气象学报, 2018, 29(1): 120-128. DOI: 10.11898/1001-7313.20180111
Lü Z L, Bai X P, Xue F. WebGIS-based meteorological service system and its key technology. J Appl Meteor Sci, 2018, 29(1): 120-128. DOI: 10.11898/1001-7313.20180111
|
[15] |
丰德恩, 唐卫, 王慕华, 等. 基于WebGIS的气象服务产品自动加工关键技术. 气象与环境科学, 2020, 43(1): 130-136. https://www.cnki.com.cn/Article/CJFDTOTAL-HNQX202001017.htm
Feng D E, Tang W, Wang M H, et al. Key technologies of automatic processing of meteorological service products based on WebGIS. Meteor Environ Sci, 2020, 43(1): 130-136. https://www.cnki.com.cn/Article/CJFDTOTAL-HNQX202001017.htm
|
[16] |
顾文静, 王鹏, 戴晴, 等. 基于流程控制的国际气象通信数据收集管理系统的设计与实现. 气象科技, 2023, 51(1): 31-39. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ202301004.htm
Gu W J, Wang P, Dai Q, et al. Design and implementation of international meteorological communication data collection and management system. Meteor Sci Technol, 2023, 51(1): 31-39. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKJ202301004.htm
|
[17] |
李莹, 王国复. 气象灾害风险管理系统设计与应用. 应用气象学报, 2022, 33(5): 628-640. 10.11898/1001-7313.20220510
Li Y, Wang G F. Design and implementation of Meteorological Disaster Risk Management System. J Appl Meteor Sci, 2022, 33(5): 628-640. 10.11898/1001-7313.20220510
|
[18] |
杨和平, 张强, 罗兵, 等. 气象综合指挥平台建设与应用. 应用气象学报, 2023, 34(1): 117-128. DOI: 10.11898/1001-7313.20230110
Yang H P, Zhang Q, Luo B, et al. Construction and application of Meteorological Integrated Command Platform. J Appl Meteor Sci, 2023, 34(1): 117-128. DOI: 10.11898/1001-7313.20230110
|
[19] |
梁丽, 马舒庆, 滕玉鹏, 等. 天气雷达空中生态监测系统建设和应用. 应用气象学报, 2023, 34(5): 630-640. DOI: 10.11898/1001-7313.20230511
Liang L, Ma S Q, Teng Y P, et al. Construction and application of Weather Radar Aerial Ecological Monitoring System. J Appl Meteor Sci, 2023, 34(5): 630-640. DOI: 10.11898/1001-7313.20230511
|
[20] |
霍庆, 何文春, 何林, 等. 气象大数据云平台算法集约化环境设计与应用. 应用气象学报, 2024, 35(1): 80-89. DOI: 10.11898/1001-7313.20240107
Huo Q, He W C, He L, et al. Design and application of algorithm intensive environment for CMA big data and cloud platform. J Appl Meteor Sci, 2024, 35(1): 80-89. DOI: 10.11898/1001-7313.20240107
|
[21] |
赵芳, 熊安元, 张小缨, 等. 全国综合气象信息共享平台架构设计技术特征. 应用气象学报, 2017, 28(6): 750-758. DOI: 10.11898/1001-7313.20170610
Zhao F, Xiong A Y, Zhang X Y, et al. Technical characteristics of the architecture design of China Integrated Meteorological Information Sharing System. J Appl Meteor Sci, 2017, 28(6): 750-758. DOI: 10.11898/1001-7313.20170610
|
[22] |
孙超, 肖文名, 陈永涛, 等. 气象综合业务实时监控系统的设计. 气象科技进展, 2018, 8(1): 153-157. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKZ201801037.htm
Sun C, Xiao W M, Chen Y T, et al. Design of real-time monitoring system of integrated meteorological operation. Adv Meteor Sci Technol, 2018, 8(1): 153-157. https://www.cnki.com.cn/Article/CJFDTOTAL-QXKZ201801037.htm
|
[23] |
曾超宇, 李金香. Redis在高速缓存系统中的应用. 微型机与应用, 2013, 32(12): 11-13. https://www.cnki.com.cn/Article/CJFDTOTAL-WXJY201312006.htm
Zeng C Y, Li J X. Redis application in cache system. Microcomput Appl, 2013, 32(12): 11-13. https://www.cnki.com.cn/Article/CJFDTOTAL-WXJY201312006.htm
|
[24] |
李燚, 顾乃杰, 黄增士, 等. Redis集群可靠性的研究与优化. 计算机工程, 2018, 44(5): 40-46. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201805007.htm
Li Y, Gu N J, Huang Z S, et al. Research and optimization of redis cluster reliability. Comput Eng, 2018, 44(5): 40-46. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201805007.htm
|
[25] |
Jaramillo D, Nguyen D V, Smart R. Leveraging Microservices Architecture by Using Docker Technology//Southeast Con. IEEE, 2016: 1-5.
|
[26] |
徐拥军, 倪学磊, 郑波, 等. 基于位置的天气实况数据服务接口设计与应用. 计算机系统应用, 2023, 32(5): 77-86. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY202305009.htm
Xu Y J, Ni X L, Zheng B, et al. Design and application of live weather data service interface based on user's location. Comput Syst Appl, 2023, 32(5): 77-86. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY202305009.htm
|
Table 1 Comparison of average performance between data-arrival scheduling and timer-triggered scheduling for algorithm of single radar product from 1300 BT to 1400 BT on 5 Feb 2024
任务调度方式 | 平均调度延迟/ms | 平均计算资源使用率/% | |
CPU | 内存 | ||
数据感知调度 | 11 | 36.7 | 12.1 |
逐1 s定时扫描目录 | 502 | 51.1 | 11.2 |
逐10 s定时扫描目录 | 3784 | 49.1 | 10.5 |
Table 1 Comparison of average performance between data-arrival scheduling and timer-triggered scheduling for algorithm of single radar product from 1300 BT to 1400 BT on 5 Feb 2024
任务调度方式 | 平均调度延迟/ms | 平均计算资源使用率/% | |
CPU | 内存 | ||
数据感知调度 | 11 | 36.7 | 12.1 |
逐1 s定时扫描目录 | 502 | 51.1 | 11.2 |
逐10 s定时扫描目录 | 3784 | 49.1 | 10.5 |
Table 2 Algorithms based on data-arrival scheduling in national operations of CMA Big Data and Cloud Platform
序号 | 算法名称 | 数据源 | 所属业务系统 | 平均日调度次数 | 日平均调度延迟/ms |
1 | 时段内最高气温算法 | 中国地面逐小时数据 | 气象服务信息系统 | 2 | 25 |
2 | 雷达单站产品生成算法 | 天气雷达全体扫标准格式基数据 | 面向实况应用的雷达实况产品系统 | 46375 | 15 |
3 | 单站雷达流数据处理算法 | 天气雷达逐仰角标准格式基数据 | 面向实况应用的雷达实况产品系统 | 507385 | 110 |
4 | 基于位置的实况服务-天气现象反演算法 | 全国逐小时总云量融合实况分析产品(0.05×0.05)/中国区域多源融合实况分析1 km逐小时温湿风产品/中国区域多源融合实况分析1 km逐10 min降水产品 | 基于位置的实况服务系统 | 288 | 14 |
5 | 微波辐射计数据产品文件质量控制算法 | 微波辐射计基数据 | 基础数据产品生产 | 64918 | 101 |
6 | 逐小时区域极值统计算法 | 中国地面逐小时数据 | 基础统计产品加工系统 | 24 | 6 |
7 | 基于GRAPES数值预报业务系统的全球模式预报算法 | GRAPES_GFS 0.25°原始分辨率产品 | 数值预报业务系统产品制作平台 | 244 | 57 |
8 | 天气雷达单站质量控制产品生成算法 | 天气雷达全体扫标准格式基数据 | 天气雷达拼图系统V3.0 | 46075 | 98 |
9 | 天气雷达组网拼图基本反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网基本反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
10 | 天气雷达组网拼图组合反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网组合反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 31 |
11 | 天气雷达组网拼图回波顶高图像产品生成算法 | 天气雷达拼图系统V3.0组网回波顶高产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
12 | 天气雷达组网拼图垂直积分液态水含量图像产品生成算法 | 天气雷达拼图系统V3.0组网垂直积分液态水含量产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
13 | 天气雷达组网拼图1 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网1 h降水估测产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
14 | 天气雷达组网拼图雨强图像产品生成算法 | 天气雷达拼图系统V3.0组网雨强产品 | 天气雷达拼图系统V3.0 | 240 | 4 |
15 | 天气雷达组网拼图3 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网3 h降水估测产品 | 天气雷达拼图系统V3.0 | 24 | 4 |
16 | 天气雷达组网拼图24 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网24 h降水估测产品 | 天气雷达拼图系统V3.0 | 24 | 4 |
17 | 天气雷达组网拼图未经质量控制组合反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网未质控组合反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
18 | GFS原始数据绘图算法 | GRAPES_GFS 0.25°原始分辨率产品 | 西北区域人影指挥系统 | 244 | 57 |
19 | MESO原始数据绘图算法 | 中国气象局区域模式CMA-MESO数值预报产品(0.03×0.03) | 西北区域人影指挥系统 | 368 | 56 |
Table 2 Algorithms based on data-arrival scheduling in national operations of CMA Big Data and Cloud Platform
序号 | 算法名称 | 数据源 | 所属业务系统 | 平均日调度次数 | 日平均调度延迟/ms |
1 | 时段内最高气温算法 | 中国地面逐小时数据 | 气象服务信息系统 | 2 | 25 |
2 | 雷达单站产品生成算法 | 天气雷达全体扫标准格式基数据 | 面向实况应用的雷达实况产品系统 | 46375 | 15 |
3 | 单站雷达流数据处理算法 | 天气雷达逐仰角标准格式基数据 | 面向实况应用的雷达实况产品系统 | 507385 | 110 |
4 | 基于位置的实况服务-天气现象反演算法 | 全国逐小时总云量融合实况分析产品(0.05×0.05)/中国区域多源融合实况分析1 km逐小时温湿风产品/中国区域多源融合实况分析1 km逐10 min降水产品 | 基于位置的实况服务系统 | 288 | 14 |
5 | 微波辐射计数据产品文件质量控制算法 | 微波辐射计基数据 | 基础数据产品生产 | 64918 | 101 |
6 | 逐小时区域极值统计算法 | 中国地面逐小时数据 | 基础统计产品加工系统 | 24 | 6 |
7 | 基于GRAPES数值预报业务系统的全球模式预报算法 | GRAPES_GFS 0.25°原始分辨率产品 | 数值预报业务系统产品制作平台 | 244 | 57 |
8 | 天气雷达单站质量控制产品生成算法 | 天气雷达全体扫标准格式基数据 | 天气雷达拼图系统V3.0 | 46075 | 98 |
9 | 天气雷达组网拼图基本反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网基本反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
10 | 天气雷达组网拼图组合反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网组合反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 31 |
11 | 天气雷达组网拼图回波顶高图像产品生成算法 | 天气雷达拼图系统V3.0组网回波顶高产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
12 | 天气雷达组网拼图垂直积分液态水含量图像产品生成算法 | 天气雷达拼图系统V3.0组网垂直积分液态水含量产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
13 | 天气雷达组网拼图1 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网1 h降水估测产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
14 | 天气雷达组网拼图雨强图像产品生成算法 | 天气雷达拼图系统V3.0组网雨强产品 | 天气雷达拼图系统V3.0 | 240 | 4 |
15 | 天气雷达组网拼图3 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网3 h降水估测产品 | 天气雷达拼图系统V3.0 | 24 | 4 |
16 | 天气雷达组网拼图24 h降水估测图像产品生成算法 | 天气雷达拼图系统V3.0组网24 h降水估测产品 | 天气雷达拼图系统V3.0 | 24 | 4 |
17 | 天气雷达组网拼图未经质量控制组合反射率因子图像产品生成算法 | 天气雷达拼图系统V3.0组网未质控组合反射率因子产品 | 天气雷达拼图系统V3.0 | 240 | 5 |
18 | GFS原始数据绘图算法 | GRAPES_GFS 0.25°原始分辨率产品 | 西北区域人影指挥系统 | 244 | 57 |
19 | MESO原始数据绘图算法 | 中国气象局区域模式CMA-MESO数值预报产品(0.03×0.03) | 西北区域人影指挥系统 | 368 | 56 |
Table 3 Algorithms based on data-arrival scheduling in provincial operations of CMA Big Data and Cloud Platform
序号 | 算法名称 | 数据源 | 所属业务系统 | 所属单位 | 平均日调度次数 | 日平均调度延迟/ms |
1 | 黑龙江天气雷达拼图V3.0组网回波顶高图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网回波顶高产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 47 |
2 | 黑龙江天气雷达拼图V3.0组网3 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网3 h降水估测产品(1 h分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 24 | 47 |
3 | 黑龙江天气雷达拼图V3.0组网雨强图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网雨强产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 51 |
4 | 黑龙江天气雷达拼图V3.0组网1 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网1 h降水估测产品(6 min分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 240 | 44 |
5 | 黑龙江天气雷达拼图V3.0组网24 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网24 h降水估测产品(1 h分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 24 | 8 |
6 | 黑龙江天气雷达拼图V3.0未经质量控制组网组合反射率因子图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网未经质量控制组合反射率因子产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 45 |
7 | 黑龙江天气雷达拼图V3.0组网组合反射率因子图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网组合反射率因子产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 55 |
8 | 黑龙江天气雷达拼图V3.0组网液态垂直积分液态水含量图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网垂直积分液态水含量产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 49 |
9 | 单站逐仰角雷达基数据解码算法 | 天气雷达逐仰角标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 23173 | 461 |
10 | 单站全体扫雷达基数据解码算法 | 天气雷达全体扫标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 1300 | 580 |
11 | 单站雷达降水粒子相态识别算法 | 天气雷达逐仰角标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 23173 | 91 |
12 | 单站逐仰角X波段雷达基数据解码算法 | X波段天气雷达逐仰角基数据 | 实况融合业务系统 | 江西省气象局 | 11674 | 531 |
13 | 雷达基数据解析算法 | 天气雷达逐仰角标准格式基数据 | 威海市气象信息服务综合业务平台 | 山东省气象局 | 19320 | 8 |
Table 3 Algorithms based on data-arrival scheduling in provincial operations of CMA Big Data and Cloud Platform
序号 | 算法名称 | 数据源 | 所属业务系统 | 所属单位 | 平均日调度次数 | 日平均调度延迟/ms |
1 | 黑龙江天气雷达拼图V3.0组网回波顶高图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网回波顶高产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 47 |
2 | 黑龙江天气雷达拼图V3.0组网3 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网3 h降水估测产品(1 h分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 24 | 47 |
3 | 黑龙江天气雷达拼图V3.0组网雨强图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网雨强产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 51 |
4 | 黑龙江天气雷达拼图V3.0组网1 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网1 h降水估测产品(6 min分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 240 | 44 |
5 | 黑龙江天气雷达拼图V3.0组网24 h降水估测图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网24 h降水估测产品(1 h分辨率) | 雷达拼图系统 | 黑龙江省气象局 | 24 | 8 |
6 | 黑龙江天气雷达拼图V3.0未经质量控制组网组合反射率因子图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网未经质量控制组合反射率因子产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 45 |
7 | 黑龙江天气雷达拼图V3.0组网组合反射率因子图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网组合反射率因子产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 55 |
8 | 黑龙江天气雷达拼图V3.0组网液态垂直积分液态水含量图像产品加工算法 | 黑龙江天气雷达拼图V3.0组网垂直积分液态水含量产品 | 雷达拼图系统 | 黑龙江省气象局 | 240 | 49 |
9 | 单站逐仰角雷达基数据解码算法 | 天气雷达逐仰角标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 23173 | 461 |
10 | 单站全体扫雷达基数据解码算法 | 天气雷达全体扫标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 1300 | 580 |
11 | 单站雷达降水粒子相态识别算法 | 天气雷达逐仰角标准格式基数据 | 实况融合业务系统 | 江西省气象局 | 23173 | 91 |
12 | 单站逐仰角X波段雷达基数据解码算法 | X波段天气雷达逐仰角基数据 | 实况融合业务系统 | 江西省气象局 | 11674 | 531 |
13 | 雷达基数据解析算法 | 天气雷达逐仰角标准格式基数据 | 威海市气象信息服务综合业务平台 | 山东省气象局 | 19320 | 8 |