针对台风风暴潮业务的多源多维数据快速提取技术-海洋预报

针对台风风暴潮业务的多源多维数据快速提取技术

单位：1. 国家海洋环境预报中心, 北京 100081;
2. 国家海洋环境预报中心自然资源部海洋灾害预报技术重点实验室, 北京 100081;
3. 国际商业机器中国)有限公司, 北京 100027

分类号：P731.23

出版年·卷·期（页码）：2024·41·第六期（53-61）

摘要：

分析当前海洋大数据处理及提取存在的信息化问题，以台风风暴潮预报系统为例阐述了多源异构海洋环境数据的持久化保存以及快速提取关键技术。针对台风风暴潮预报业务数据读取服务场景进行深入分析，并针对该业务的海洋环境数据存储和提取提出了基于 OldSQL+NoSQL+分布式文件系统的解决方案。该方案经过实际场景验证，可以有效解决台风风暴潮数值预报业务化系统中海量多源异构数据的存储和提取问题，显著提升数据提取性能，可扩展性较强。

This paper analyzes the informatization management in the marine big data age, and describes the key technologies for persistent storage and rapid extraction of multi-source heterogeneous marine environmental data in typhoon storm surge forecasts. This study proposes an OldSQL+NoSQL+distributed file system based solution for marine environmental data storage and extraction in typhoon storm surge forecasts. The solution has been verified in actual scenarios and has been proven to be efficient and scalable in solving the massive multi-source heterogeneous data storage and extraction in the typhoon storm surge forecasts.

参考文献：

[1] 李雪丁, 曾银东, 陈金瑞, 等. 福建省智能网格海洋预报业务系统实现与应用[J]. 海洋预报, 2021, 38(1): 10-17. LI X D, ZENG Y D, CHEN J R, et al. Establishment and application of an intelligent grid operational marine forecasting in Fujian province[J]. Marine Forecasts, 2021, 38(1): 10-17.
[2] 刘帅, 陈戈, 刘颖洁, 等. 海洋大数据应用技术分析与趋势研究[J]. 中国海洋大学学报, 2020, 50(1): 154-164. LIU S, CHEN G, LIU Y J, et al. Research and analysis on marine big data applied technology[J]. Periodical of Ocean University of China, 2020, 50(1): 154-164.
[3] 于婷, 董明媚, 殷悦. 海洋科学大数据共享与价值研究[J]. 海洋信息, 2021, 36(3): 31-42. YU T, DONG M M, YIN Y. On the marine big data sharing and value mining[J]. Marine Information, 2021, 36(3): 31-42.
[4] 沈飞飞, 郭忠文, 胡克勇. 一种海洋环境数据存储模型设计与应用[J]. 中国海洋大学学报, 2015, 45(6): 122-127. SHEN F F, GUO Z W, HU K Y. Design and application of a marine environmental data storage model[J]. Periodical of Ocean University of China, 2015, 45(6): 122-127.
[5] 刘贤三, 张新, 董文, 等. 风暴潮灾害预报的数据组织技术[J]. 自然灾害学报, 2010, 19(2): 136-139. LIU X S, ZHANG X, DONG W, et al. Data organization technology for prediction of storm surge disaster[J]. Journal of Natural Disasters, 2010, 19(2): 136-139.
[6] 韦广昊, 韩春花, 田先德, 等. 海洋大数据管理技术: 架构、平台与存储策略[J]. 海洋信息技术与应用, 2021, 36(4): 46-54. WEI G H, HAN C H, TIAN X D, et al. Marine big data management technologies: architecture, platform and storage strategy[J]. Journal of Marine Information Technology and Application, 2021, 36(4): 46-54.
[7] 宋晓, 梁建峰, 李维禄, 等. 基于多架构混搭模式的极地海洋数据库建模技术研究[J]. 极地研究, 2018, 30(4): 411-418. SONG X, LIANG J F, LI W L, et al. Developing databases with multiple architectures to support polar marine data[J]. Chinese Journal of Polar Research, 2018, 30(4): 411-418.
[8] 张玉娟, 史绍雨, 孙晶, 等. 基于分布式数据库的海洋动力环境数据云存储[J]. 海洋预报, 2017, 34(2): 72-79. ZHANG Y J, SHI S Y, SUN J, et al. Cloud storage of ocean dynamics environment data[J]. Marine Forecasts, 2017, 34(2): 72-79.
[9] 谭凯中, 秦勃, 何亚文. 面向过程的海洋时空数据分布式存储与并行检索[J]. 中国海洋大学学报, 2021, 51(11): 94-101.TAN K Z, QIN B, HE Y W. Process-oriented distributed storage and retrieval of ocean spatiotemporal data[J]. Periodical of Ocean University of China, 2021, 51(11): 94-101.
[10] SCHWARTZ B, ZAITSEV P, TKACHENKO V. High performance MySQL[M]. 3rd ed. Sebastopol: O'Reilly Media, Inc., 2012: 141-152.
[11] HALPIN T, BLOESCH A. Data modeling in UML and ORM: a comparison[J]. Journal of Database Management, 1999, 10(4): 4-13.
[12] 陈钻, 李海胜. 新型台风海洋网络气象信息系统的设计与实现[J]. 应用气象学报, 2012, 23(2): 245-250. CHEN Z, LI H S. The design of typhoon and marine meteorological information system with its implementation[J]. Journal of Applied Meteorological Science, 2012, 23(2): 245-250.
[13] 王舒, 陈京华, 吉玮, 等. 气象地理信息系统设计与实现[J]. 地理空间信息, 2020, 18(2): 5-8. WANG S, CHEN J H, JI W, et al. Design and implementation of meteorological geographical information system[J]. Geospatial Information, 2020, 18(2): 5-8.

服务与反馈：

【文章下载】【发表评论】【查看评论】【加入收藏】