Storm流式技术在地面气象数据处理中的应用
DOI:
CSTR:
作者:
作者单位:

1.贵州省气象信息中心;2.国家气象信息中心

作者简介:

通讯作者:

中图分类号:

基金项目:

贵州省科技计划项目([2019]2386): 基于大数据的气象防灾减灾服务平台研发


Application of Storm Flow Technology in Surface Meteorological Data Processing
Author:
Affiliation:

1.Guizhou Meteorological Information Center,Guiyang;2.National Meteorological Information Center,Beijing

Fund Project:

Science and Technology Project of Guizhou Province([2019]2386):Research and Development of Meteorological Disaster Prevention and Mitigation Service Platform Based on Big Data

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    地面自动站气象数据的量级、观测传输频次日益增长,传输方式从传统的文本方式发展到消息传输,对数据处理时效有了更高的要求。本文提出采用Storm流式技术进行地面自动站气象数据的解码和入库,使用Spout节点连接外部数据源,将数据转化为Tuple,传递给解码Bolt、入库Bolt和DI/EI消息Bolt,分别进行实时的入库和监控,且达到灵活调整系统资源的目的。该应用与传统的简约流程对比,稳定性、处理效率、拓展性都有了显著提高。

    Abstract:

    The quantity and observational frequency of meteorological data by surficial automatic station are increasing. The transmission mode has developed from the traditional text mode to the message transmission mode. These changes make higher requirement for data processing timeliness. In this paper, we used Storm Flow Technology on decoding and warehouse of surficial automatic station data. It used Spout to connect external data sources, and convert data into Tuple, and then transmit to Bolt-decode, Bolt-warehouse and Bolt-DIEI. They can be used to real-time warehouse, monitoring, and quickly adjust system resource. Compared with the traditional simplified process, the stability, processing efficiency and expansibility of the application have been greatly improved.

    参考文献
    相似文献
    引证文献
引用本文

廖婷婷,王彪,肖卫青,等. Storm流式技术在地面气象数据处理中的应用[J].山地气象学报,2019,43(5):78-81.

复制
分享
相关视频

文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2019-04-23
  • 最后修改日期:2019-08-05
  • 录用日期:2019-08-08
  • 在线发布日期: 2024-06-14
  • 出版日期:
文章二维码