|
随着我国气象事业的蓬勃发展，气象观测自动化和信息化水平得到了显著提升。目前，全国已建立了万多个地面气象观测站，其中包括1万多个国家级地面自动站。站网布局持续优化，数据采集呈井喷式增长。海量的气象观测数据为天气预报、防灾减灾等业务提供了坚实的数据支撑，但也对传统气象业务软件和数据环境带来了一定挑战。 近年来，省级区域内的数据传输业务流程已从市域转发调整到省内省级，省级中心站软件将观测数据形成气象数据表示的二进制通用格式(BUFR)数据流，通过消息将数据接入新一代气象通信系统CIMISS CTS2经政府后最终存入天象系统。这一调整，对卫星二级运维工作人员带来了巨大的挑战。一旦区域数据大、观测数据出现缺损，工作人员无法第一时间了解数据原因以及自动站设备运行情况。针对该情况，杨立亮等提出了基于Django框架的省级区域数据传输系统的建设，该系统强调数据流过程的监控，但无法满足对区域站运维的监控，希望等提出了基于Spring框架的自动气象站运行监控系统的建设，该研究侧重点点运行监控以及站点管理等，缺少对数据传输的监控。各省的操作系统、软件架构始终无法统一，导致系统的并发处理能力多寡不齐，运维软件之间始终存在壁垒。同时，国内操作系统应用推广和气象业务架构化的发展趋势，对气象信息化系统提出了新的要求。 基于此，本文提出一款基于跨平台技术的自动气象站国家级中心系统(以下简称国家级中心系统)。该系统实现了气象数据的收集、处理、存储和应用的一体化与架构化管理，通过优化系统架构并与天象、天元和天镜等国家核心气象业务系统数据交互，进行多元数据融合，实现气象数据应用、业务及数据流控制应用和气象站运维应用。 1 系统设计 1.1 系统总体设计 国家级中心系统由基础支撑层、运行环境层、服务支撑层、应用层、用户层等五部分组成,如图1所示。该系统采用“云+端”开放服务模式,应用云服务资源池和云上重构,实现系统的灵活构建。其中,自动气象站作为端节点,部署于网络边缘,负责现场观测、数据采集、统计等边缘计算任务;国家级中心系统通过云部署,负责个性化定制服务、分析、存储等,与气象局业务系统共同组成了云端。系统微服务负载均衡架构如图2所示,其中n 为实例部署数量整个程序由NGINX 软负载均衡管理系统入口和出口,通过动态调节中心系统的部署实例数量控制自动气象站设备的接入量,满足实时大规模数据处理需求,能够应对高并发场景。多个数据处理中心在系统内部以集群的方式分工协作,共享缓存,确保数据处理的唯一性。 1.2 技术架构 国家级中心系统基于SOA(ServiceOriented Architecture)多层架构设计,系统技术架构如图3所示。 系统硬件抽象层:包括不同的操作系统和硬件设备,通过硬件抽象接口实现与不同操作系统及硬件的解耦,屏蔽不同平台的差异。 服务层:包含SOA 平台层和应用服务层。SOA 平台层利用系统原生SDK 和.NETCore框架构建,实现系统的跨平台运行。系统采用微服务模式,利用服务注册发现机制使服务的调用更加灵活,请求能够被自动识别并转发到对应的服务。云服务提供了弹性灵活的计算和存储资源,可以动态适应自动站接入数量的变化。外部域控制器以API网关的形式安全地暴露各项服务,方便于第三方系统的集成。应用服务层基于SOA 平台层,提供一系列微服务应用,以满足气象数据的统一收集、存储、质控、计算分析、分发等业务需求。 中间件技术软件层:提供通用功能和复用功能。包括通信中间件、日志中间件、事务中间件等,通过合理地使用和配置,简化服务的开发和集成,提高系统的性能。 2 系统实现与技术难点 2.1 业务流程 国家级中心系统业务流程如图4所示,可划分为4个部分,设计如下。 (1)数据采集区。自动气象站采集观测数据并进行数据预处理,包括数据组合、单站时内、日内数据统计等。预处理后启动无线、有线或卫星等通信模块进行数据传输。 (2)数据处理及质量控制政务外网区域(DMZ区),该区域为核心业务实现区以及服务部署区。在该区域汇集数据,进行处理和快速质控,并对外提供国家级中心系统的核心服务单元,实现数据服务融合及应用。 (3)政务内网数据交互区分为两部分。第一部分是通过消息中间件开发的业务数据传送带,在政务内外网对接和传输BUFR 打包文件、BUFR 单站文件等气象要求的业务数据,实现与气象局业务系统对接。第二部分是通过微服务单元实现与天元的元数据实时同步、与天镜的过程状态信息实时推送、与天擎的观测数据实时推送。 (4)数据服务应用及数据融合。通过国家级中心系统对应的微服务提供气象站数据应用、气象站运行维护、业务运行预警系统等,形成对气象站数据从采集到进入中国气象局业务系统之前的全流程业务监控。 2.2 数据采集和处理方法 2.2.1 数据采集 国家级中心系统作为天擎、天镜、天元等系统的数据前端入口,负责接收全部型号的自动气象站、自动气候站、专业气象站等采集的观测数据、状态数据和元数据。目前现有区域站设备来自不同的厂商,每个厂商提供多种不同要素的采集设备,为实现统一采集,系统以数据字典字段为参照自定义一套宏标准,通过提前对站点进行数据宏配置,实现不同设备多要素数据采集后的统一解析。 2.2.2 数据处理与气象要素质控 数据处理模块负责处理自动站设备上传的数据。依据通信协议对数据进行拆包或粘包,将数据与配置的宏文件进行匹配,实现数据与观测要素的正确解析。将解析后的数据进行标准化处理,经过快速质控后封装成内部传递的数据结构。 气象要素质量控制方法主要包括完整性检查、气候学界限值检查、气候极值检查、时间一致性检查以及空间一致性检查。其中,空间一致性检查采用Madsen-Allerupt方法,通过待检站周围一定范围内环境相似的一个或多个临近站点观测数据计算被检站的要素值,对比被检站观测值和计算值,判断结果是否超过给定阈值。将待检站对应邻近台站的当前待检小时气象要素数据以及前3个小时的气象要素数据进行整合,组成一个邻近站时间序列,估算25%、50% 和75%对应的百分位数值,使用式(1)计算质控系数,如果质控系数大于 3，则认为该要素数据可疑。 f=QC1−QCP75QCP75−QCP75(1)f=QCP75−QCP75QC1−QCP75(1) 式(1)中，QC1QC1 表示当前传输速率数值；QCP75,QCP75,QCP75QCP75,QCP75,QCP75 分别表示邻近时间序列对应的 25%、50%、75% 的百分位数值。百分位数值计算式如式(2)，利用线性插值在数据点之间的近似线性关系对百分位数进行估算。在该情况下，已知当前百分位数和相邻的百分位数的下一个位置的元素值作为插值的起点和终点。 f=V1×(1−FRAC)+V2×FRAC(2)f=V1×(1−FRAC)+V2×FRAC(2) 式(2)中，V1V1 表示当前时间序列中百分位数值整数位所在索引对应的值；V2V2 表示当前时间序列中百分位数数位加 1 所在索引对应的值；FRAC 表示表示百分位数值的小数位。通过以上 2 个公式完成对气象要素数据的空间一致性检查。 2.3 数据全流程监控 为了掌握数据在各节点的流特性，通过图形化的面板实时监控数据采集、数据处理以及数据分析。通过监控应用能够实时查看数据所在节点、传输速率、交互日志等必要信息，确保数据能够准确传输至各关联系统。数据全流程监控如图 5 所示。 2.4 技术难点及解决方案 依据中国气象局气象网络和数据安全政策制定，国家级中心系统部署在 DMZ 区。DMZ 区将对外服务与气象政务内网隔离开来，降低直接暴露内网资源的风险，即使 DMZ 区中的 Web 服务被攻击，仍能保障内网的安全性。DMZ 区提供一个受控的外部访问通道，能够有效地隔离和控制访问。但服务器需在 DMZ 区内政务内外网数据交互，同步也带来了一定的阻碍，DMZ 区中的服务无法访问政务内网，只能由政务内网中的服务主动获取。 现有省级中心站软件的解决方案是建立 2 种不同的数据传输方式，文件格式、图片格式通过文件传输协议(FTP)进行传输，消息流格式的数据通过 Virtual Private Network (VPN)隧道从 DMZ 区传输到政务内网，实现数据加密传输通道，但该方案不利于系统的维护。鉴于气象资料的多样性，包括 BURR 文件、BURR 数据流消息、图片等多种形式，因此，采用基于消息中间件 RabbitMQ 的数据传输机制。在政务内网中搭建一条基于消息中间件开发的业务数据传送带，根据预定义的多种类型队列，如文件队列、图片队列以及消息队列，将数据发送到与队列一一对应，满足气象服务需求的格式封装与传送。为确保 RabbitMQ 服务可靠性，采用集群化部署，同时持久化消息和队列。当 RabbitMQ 某个节点出现故障，系统能够通过负载均衡确保其他节点持续提供服务。即便出现服务重启的情况，持久化消息和队列也可以保证消息不丢失。同时，为了保障内网穿越稳定，部署专业的内网穿透工具并配置多条内网穿透通道，以便在一个通道出现故障时，自动切换到备用通道。由于传输过程涉及敏感的政务数据，系统应用安全连接器（SSL）加密，并实施队列级别的访问控制和身份验证机制，指定权限规则，确保只有授权的服务能够访问特定的消息队列。相较于传统利用 VPN 隧道进行数据传输，基于 RabbitMQ 的数据传输机制通过集群化部署，持久化消息和队列，建立多条穿透通道等措施，能够在保证易用性和灵活性的同时，最大程度地提高内网穿透的可靠性。 应急气象系统的集约发展需要，目前各省级气象部分的部署系统需要直接基于天气季节进行构建，而原有的气象业务系统则需要融入这些系统，从而获得更好的数据、算力以及监控支持。随着气象综合业务的不断更新，气象资源的丰富，数据管理、算法注册、监控接入等技术要求，国家级中心系统为用户提供直观的系统交互界面和功能，简化与天翼、天元和天镜数据交互时繁琐的步骤，实现零感知的融合过程。天翼等系统继承了全国综合气象信息共享平台（CIMISS）的接口规范，提供气象数据统一服务接口(MUSIC)，国家级中心系统使用SDK开发包通过国家级中心系统的一个微服务单元与MUSIC接口进行对接，使用SDK，将服务节点名、调用接口名以及其他查询参数一起赋值生成统一资源定位器（URL），发送并请求等待结果返回。此时，用户只需要拥有授权账号并完成登录，即可开启与天擎、天元和天镜系统的数据交互。 3 系统应用及性能结果分析 3.1 系统应用展示 国家级中心系统由运行监控、实时监视、业务运行、数据查询、数据统计等组成。平台主页面展示站点概况，即站点总接入数、在线站点和离线站点数量统计、站点所在位置信息、气象要素展示等，如图6所示。站点基本信息、站点通信方式以及气象要素配置如图7所示。 3.2 性能结果分析 国家级中心系统相较于省级中心站软件的各项能力显著提升，对比结果如表1所示。
国家级中心系统实现接入不低于10万个自动气象观测站，满足国家级站点接入需求。在满足更大的并发接入数量的同时，分钟数据、小时数据、无数据、状态数据等处理速度与省级中心站软件基本持平，实现秒级快速响应。国家级中心系统能够将数据直接上传或共享至天擎、天元和天镜系统，多系统交互增强了数据之间的关联性，为多维度气象要素分析提供了支持。跨平台能力方面，考虑到各级气象部门使用操作系统不统一，且目前国产系统，如银河麒麟、中标麒麟、统信UOS等，发展日渐成熟，同时，为满足国产化系统部署的需求，因此，基于.NET Core框架结合原生SDK开发的国家级中心系统拥有跨平台部署能力，能够在Windows、Linux以及国产操作系统上完成一键部署，适配性更高。 4 总结 本文提出了基于跨平台技术的自动气象站国家级中心系统。通过对系统的研究方法和设计，系统实现与技术难点、性能优化等多方面进行分析，展示该系统在实时数据处理、时间和空间一致性运算、可视化等方面的优势。系统设计充分考虑了现代自动气象站建设多样性、数据复杂性以及未来发展需求，在确保数据安全的前提下，实现高效的数据交互。国家级中心系统将数据收集、数据展示、数据传输监控以及气象站运维服务整合，提高了自动气象站开发投入能力，满足跨平台部署，实现了软件集约化、业务集约化，推动了气象服务领域智能化发展，为气象现代化建设做出了贡献。 参考文献： [1]孙平,张博涛,陈宇前.基于跨平台技术的自动气象站国家级中心系统应用研究[J].微型电脑应用,2025,41(08):290-294+303.DOI:CNKI:SUN:WXDY.0.2025-08-067. 特别提醒：物联网专业交流群欢迎物联网行业相关的人群加入，同时群内欢迎各路社牛、大咖、前辈加入，群内除了不能发敏感内容、色情内容，以及不太建议多次发送推广内容，其他内容皆可畅聊~——交流QQ群724511126，进群的朋友请备注：姓名-单位-研究方向（无备注请恕不通过），由编辑审核后邀请入群！
| 
发表于 2025-10-10 22:10:43