|
气象数据是气象业务和科研工作的基础[1]。随着现代科学技术进步，我国各种气象观测设备迅速增加，生成海量观测数据和产品，信息系统压力增加；同时，天气预报分析[2-3]，强对流预报[4-5]，实况产品制作、地质灾害预警[6]等气象业务对各种数据的综合应用、时效性、稳定性等要求不断提高，迫切需要更高效、更智能的数据处理和管理平台。为应对这一挑战，中国气象局紧跟信息技术发展前沿，探索和创新气象数据管理和共享模式。从早期的全国综合气象信息共享平台（China Integrated Meteorological Information Sharing System, CIMISS）到如今的气象大数据云平台（简称天擎），气象数据管理和共享模式经历了深刻变革。CIMISS作为气象数据共享的重要里程碑，实现了气象数据的集中化管理和共享，为气象业务和科研工作提供了有力支持。 随着观测数据、模式产品的指数级增加和精细化监测预报服务需求的快速增长，CIMISS已不能满足快速增长的业务需要。因此，中国气象局利用云计算、分布式存储等新一代信息技术，吸纳原有CIMISS优点，在自省两级构建了数算一体的天擎[7]，实现了气象部门内外1300多种数据和产品的高效汇聚、统一处理、存储和共享服务，全面支撑“云+端”的气象应用业务，形成集约化、标准化、开放发展的气象新业态[8-9]，在国省气象业务中得到广泛应用[10-11]。 尽管天擎在气象数据管理和共享方面取得了显著进展，但如何确保海量气象数据能够实时、准确、稳定地进入平台，实现实时高效、准确的基础气象数据处理仍是天擎建设过程中必须解决的关键问题。 1 天擎数据接入及服务特性1.1 数据接入全流程天擎的数据接入全流程包括：国内通信系统 CTS 负责从国际通信系统、各省级通信系统、部际通信系统以及互联网下载平台等多源渠道实时收集气象数据；CTS 将这些数据推送至数据处理系统；数据处理系统在接收到数据后，执行格式检查、数据解码、要素入库、索引入库等一系列处理操作，并将处理后的数据实时写入存储系统。气象部门的预报预测、短时临近预警、公共服务、综合观测等业务系统以及个人用户，通过气象数据统一服务接口从存储系统中获取所需的气象数据，如气象信息综合分析处理系统（Meteorological Information Comprehensive Analysis and Processing System，MICAPS），强天气短时临近预报系统（Sever Weather Automatic Nowcast System，SWAN）、实况产品生成、综合气象观测数据质量控制与产品业务系统（简称天衡天衍系统）等。在此数据接入流程中，数据处理系统扮演重要角色，其上游连接通信系统，负责数据的接收；下游对接存储系统，负责数据的处理入库。因此，在系统设计时，需充分考虑上下游系统特点，确保数据处理系统的高效稳定。 1.2 数据传输服务特性天擎接入的数据来源广泛且格式复杂多样，涵盖地面、高空、海洋、辐射、大气成分、雷达、卫星遥感、数值模式、服务产品等多种类型，这些数据在传输、存储和服务方式等关键维度上存在巨大差异。 目前，气象数据传输方式主要包括消息、数据流和文件 3 种。地面、高空、海洋、辐射、大气成分等站点观测数据，其传输方式以消息、文件传输为主。消息方式采用 RabbitMQ[15] 传输，可以有效提升数据的传输速度，主要应用于国内地面自动气象站等高频次高并发数据的传输[16-18]，其他高空、海洋、辐射、大气成分等观测数据采用文件传输的方式。对于雷达数据，其数据传输采用数据流方式传输[19]，而相应的单站、多站群图等产品数据则以文件传输为主。卫星、数值模式及各类服务产品则主要以传统的数据文件方式进行传输。 根据数据存储和应用特点，可将气象数据和产品分为结构化、半结构化和非结构化 3 种形态。 地面、高空、辐射、海洋、大气成分、农业气象等多种类型的站点观测数据，数据服务方式以结构化为主。结构化数据一般用关系型数据矩阵二维数组表示和存储，以行为基本单位，每行数据代表 1 条实体的完整信息，且各行属性保持一致。数据处理需经过内容解析，提取站点名称、观测时间以及各要素值等关键信息。这些信息被存入关系型数据库中，以便用户进行高效检索和分析。 雷达、卫星、服务产品等数据一般以非结构化进行存储服务。非结构化数据通常以原始文件形式提供服务，因此不对其内容进行直接的细粒度解析处理。为提高数据检索效率，采用关系型数据库作为文件索引库，存储数据类型、站号、时间、区域等属性信息。这些属性信息可以从文件名中提取，用户可通过属性高效定位所需数据文件的存储位置，获取原始数据并进行后续的深入分析、处理及展示等操作。 数值模式等特点数据经预处理以半结构化方式进行存储服务。半结构化数据是一种介于结构化与非结构化的数据，它同样采用数据文件配以索引的方式提供服务。与非结构化数据直接提供原始文件不同，半结构化数据所提供的数据文件是经过预处理和重生成的新文件，而非原始文件。综合天擎数据传输方式与存储方式的对应关系如表 1 所示。
随着气象观测系统向秒级实时数据生产（如地面自动气象站秒级观测）和多源异构数据爆发式增长演进，天擎作为强实时气象业务中枢，其数据处理系统面临时效性、可靠性、稳定性等多重技术挑战。在此背景下，如何基于气象数据传输存储特性，构建强实时、高可靠的数据处理架构，解决海量多源异构数据快速接入，保障系统稳定高效运行，成为天擎亟待解决的一个重要问题。 2 数据处理系统及关键技术2.1 整体架构数据处理系统整体架构如图 1 所示，其针对海量多源异构气象数据，制定标准的数据解码规范，建立统一的可扩展的处理流程和解码算法，通过数据接入和数据入库等接口有效衔接通信系统和存储系统，实现对国内外地面、高空、海洋等字符代码（TAC）[20]，表格驱动码（包括 BUFR[21]、GRIB）、自定义[22]等多种格式气象数据的快速处理入库。在数据接入方面，系统支持以消息、文件、数据流等形式从通信系统接收数据；在数据入库方面，则支持分布式关系型数据库、分布式表格系统、对象存储等多种存储方式。系统通过灵活组合不同的处理流程、解码算法和数据入库接口，实现对数据内容和数据库类型的独立扩展。数据处理过程生成相应的数据信息（data information, DI）或错误信息（error information, EI）并发送至天线，用于数据全流程监视告警的计算[23]和天擎加工流水线的数据源感知调度等[24]。 2.2 数据解码算法在进行结构化或者半结构化等处理时，首先需要开展对应数据格式的解码。因此，解码算法是各类数据处理的重要环节，负责对国内外各类 TAC、BUFR、GRIB、自定义文本等格式数据进行解码处理。处理过程包括格式检查、要素解码、特征值转换和接口封装等，最后获得解码后要素集，并将其封装成统一接口提供后续处理流程调用。 数据解码算法依据各类气象数据格式与内容特点制定规范，构建标准算法集并封装应用程序接口（application programming interface, API）。此举可降低存储结构变动与升级时解码软件的重复开发成本，提升用户体验，使得数据处理软件能兼容传统数据库与新型大数据存储技术，并且可以随技术发展而升级。 针对 TAC 格式数据解码算法采用错误检测和容错处理技术，提高解码数据的完整性；设计基于到达时间戳的 TAC 报文日期判定算法，解决 TAC 报文不包含年月的问题；采用字节校验技术保证 BUFR、GRIB 等数据解析数据的正确性；研发 BUFR 多模板自动识别技术解决一类数据包含多个数据模板的问题；针对国内自定义格式数据，采用要素长度、分组数量、字符编码等检查技术和异常文件过滤技术提高解码的正确性和稳定性。 2.3 数据接入数据处理系统数据接入方式分为数据文件、数据消息和数据流 3 种。 在数据文件接入方式中，通信系统按照设计要求将数据文件推送至数据处理系统的共享文件系统，并生成包含文件名及路径的详细通知消息，经 RabbitMQ 发送至处理系统。共享文件系统使集群内所有机器访问相同文件与目录结构，节点间文件操作实时同步，保障状态一致。为提升效率，通信系统发送打包通知消息，处理时需将数据文件从人口目录移至待处理目录，并拆分打包消息为单条通知消息以便后续处理。 针对采用 RabbitMQ 传输的数据消息，通信系统将数据消息转发至数据处理系统的 RabbitMQ 数据消息集群，并按照数据类型划分成不同的队列，处理流程直接从队列中获取数据，实现全流程不落地处理。目前采用消息传输的主要是地面自动气象站、北斗探空、辐射、酸雨、农业气象等观测数据和气象数据业务系统（Meteorological Data Operation System,MDOS）产生的更正消息。 对采用数据流传输的雷达基数据，处理流程直接接收通信系统的数据流，在内存中处理后直接入库，实现全流程不落地处理。采用按站号平均分配的方式将全部雷达划分成大致相等相同的几组，分组数量由实际部署的节点数量确定，每个处理节点固定接收一定数量的雷达站，实现负载均衡的处理。 2.4 处理流程相较于 CIMISS，天擎新增了消息与数据流传输方式，虽提升交互灵活性，却使处理流程更复杂。存储方面，在原有网络附属存储（network attached storage,NAS）基础上新增对象存储，对虚谷数据库引入缓冲库、服务库实施读写分离，增加 GBASE 和 Cassandra 数据库，使数据处理流程更复杂。在文件处理上，天擎继承 CIMISS 文件加通知消息的方式，但将消息中间件从东方的 TLQ（TongLinkQ）更换为开源的 RabbitMQ 以适配新需求。此外，为提升数据处理速度，天擎数据处理系统新增 Storm 流式处理技术。 因此，数据处理流程如图 2 所示。根据天擎气象数据的传输和存储特点，结合多进程多线程、Storm 流式等处理方式,数据处理系统设计了结构化消息流式处理、结构化消息多线程处理、更正消息处理、结构化文件流式处理、结构化文件多线程处理、半结构化文件多线程处理、非结构化文件通用多线程处理和非结构化数据流多线程处理8种处理流程。每种处理流程可处理类型相似的多种数据，可以根据设计要求将其写入不同存储。 2.4.1 结构化消息/文件流式处理针对高并发和高时效性的地面自动气象站小时和分钟观测数据，数据处理系统采用Storm实时流式处理，并建立专门的处理集群。为解决省级接入邻近省数据的问题，Storm流式处理同时支持消息和文件两种数据传输模式。 在国家级天擎，针对全国经RabbitMQ传输的地面自动气象站观测数据，设计了消息流式处理拓扑，包含数据接入,解码人库和监控信息发送3组件，直接处理RabbitMQ传输的数据消息，实现从观测到服务的全流程不落地处理[25]。 在省级天擎，针对以文件方式接入的外省地面自动气象站观测数据，系统采用与消息流式处理相同的Storm集群和拓扑结构。不同的是，数据接入组件和解码人库组件接收的是包含全路径的通知消息，解码人库组件根据全路径文件名从共享文件系统读取数据文件后再进行后续处理操作。 Storm流式处理通过精简拓扑结构减少内部数据传输，采用配置化技术快速进行不同组件的并发度调整，研发多模板自适应技术解决业务升级中的数据格式无缝切换问题，通过站点信息热加载技术实现站点信息的不重启更新，应用预留处理资源解决单点故障问题等，极大提高了自动气象站数据处理的时效性和稳定性。 2.4.2 结构化消息/文件多线程处理Storm流式处理技术在处理时效,大数据量的数据具有显著优势，能够有效提升数据处理速度。然而，其开发调试难度较大，周期长，且运行维护成本高。因此，为了兼顾处理效率和成本，数据处理系统同步采用多进程多线程方式来处理数据量相对较小的结构化数据，同样支持消息和文件两种数据接入方式。 针对采用消息传输且数据量相对较小的北斗探空、辐射、酸雨和部分大气观测数据，系统采用消息多线程处理流程，通过队列分区分不同类型的数据。处理流程直接从RabbitMQ队列中接收数据消息，并在内存中直接进行解码人库处理，实现全流程不落地的处理人库。 针对国内外地面、高空、海洋观测数据等需进行结构化处理且采用文件传输的数据，系统采用结构化文件多线程处理流程。与消息多线程处理不同的是RabbitMQ队列获取的是某类数据的全路径消息，处理流程会根据文件路径到共享文件系统读取数据文件再进行后续的解码人库处理。 处理流程采用内存虚拟文件镜像技术解决数据消息内存解析的问题，采用字符串缓存机制降低 SQL 语句拼接时的复杂度，使用基于内存的哈希索引技术实现台站信息的快速访问，研发实时整合技术解决 TAC、BUFR 等全球数据既重复又交叉的问题[26]，将任务调度、配置读取、日志生成等公共模块合成通用开发接口，降低新增数据的开发难度。为进一步扩大文件数据处理的范围，处理流程支持 C 语言和 Java 语言两种编程环境。 2.4.3 更正消息处理为无缝衔接 MDOS 的更正消息[27]，实现地面自动气象站、辐射、酸雨等气象数据的实时更正，确保数据的准确性和及时性，系统设计了一套专门的更正消息处理流程，并分为实时处理流程和定时处理流程。 实时处理流程直接解码 MDOS 发送的更正消息，提取信号、时间、更新值等关键信息后，尝试更新已有数据表并同步记录更正状态至结果表；若因网络延迟导致更正消息早于原始数据到达而更新失败，则将该记录标记为特殊状态（如“待重试”）存入结果表。定时处理流程定期扫描结果表，对标记为“待重试”的记录重新尝试更新，直至成功。 更新流程采用分时处理策略应对超长历史数据更新慢的问题，通过分批定量处理提升大量集中更新时的访问效率；设计异常消息过滤机制，基于配置化时间检查自动过滤无效历史数据，避免应用堵塞；针对虚名数据库与前文数据库的更新速度差异，采用异步发送技术实现数据同步；同时提供较省份筛选功能，支持省级用户仅接入目标邻近省份数据，优化资源分配与处理效率。 更新完成后，实时处理流程和定时处理流程均向定时统计流程发送通知消息，用于触发日统计等统计数据的联动更新，以确保数据的一致性和准确性。 2.4.4 半结构化文件多线程处理中国、欧洲中期天气预报中心、日本、德国及美国等机构的 GRIB 格式集成数据预览产品以文件形式传输，为提升用户分析效率，需通过现场处理分离不同气象要素并单独存储。处理流程获取包含数据全路径的通信消息后读取数据文件，调用解码算法解析文件，生成单场景要素的数据，并将原来分散在多个文件中的相同要素的所有预测时效的数据组织为新文件，极大方便了用户进行定点的穿透查询。 处理流程通过验证报头、字符数及结束标志，确保数据完整性和可解析性；使用自动识别技术进行 GRIB1 和 GRIB2 格式的自适应解码，适配不同国家/机构的预报产品；针对同一文件中混合 GRIB1/GRIB2 格式的情况，通过报头标识与数据结构自动判定类型并拆分；支持生成 GRIB1 或 GRIB2 格式文件，满足不同应用场景需求；基于模式名、时间、层次等属性自动生成标准化文件名，便于用户进行快速检索和分析。 在人库形式上，处理流程构建了灵活机制。重组后的新文件既存入分布式表格系统（Cassandra），满足快速实时访问需求，其数据访问可达毫秒级，但保存时间较短，通常为15~30 d（可配置）；为复杂长期保存与深入分析需求，又以文件及索引形式存入分布式文件库，该存储方式面向 30 d 前的数据服务，尤其适用于长序列的数据访问，可以支撑数据分析、检验及模式评估等应用。 2.4.5 非结构化文件通用多线程处理针对雷达基数据，国内外卫星数据、部分模式产品等种类多而杂的原始文件的访问需求，系统设计了一套高效的处理流程。处理流程从消息服务器相应队列中获取路径信息后，顺序完成存储至 NAS 的写入操作以及索引人库等后续处理。为满足数据的个性化存储需求，处理流程还支持对象存储服务（object storage service、OBS）的写入，用户可通过配置文件进行灵活配置。 该处理流程的一大特点在于其通用配置特性，通过将文件名作为获得的字符变量与预定义的文件大小、生成时间等特殊变量相结合，综合应用字符串变换截取、表达式计算、函数计算和迭代计算等技术形成计算引擎，实现非结构化处理过程中常用的属性提取、字段映射、目序转换、时间检查、动态目录创建等功能，支撑不同文件名规则数据文件的快速接入，极大提高了系统的灵活性和可扩展性，使非结构化数据投入的开发效率得到显著提升[28]。 2.4.6 非结构化数据流多线程处理雷达基数据通过流传输方式从雷达站传输到省级，同时上传至国家级。数据流多线程处理流程直接从通信系统接收数据流进行解码处理，将各向数据流组合生成源和集数据和全体扫基数据，并进行非结构化的索引人库处理。同时，基于相邻两个体间的仰角数据，采用时间窗滑动策略，用最新的仰角数据替换上一体扫中间仰角的数据，生成虚拟体扫基数据[29]，从而在不改变用户现有雷达基数据处理程序的基础上，实现最新仰角基数据的应用，为短时临近预报等应用提供更高时效的雷达数据。 虚拟体扫描数据生成通过基于事件轮询的输入/输出(I/O)多路复用技术实现高效率件驱动，避免多线程上下文切换带来的性能损耗；采用线程池技术复用线程资源并限制并发线程数量，平衡系统负载与资源占用；设计开发缓存队列以消除动态内存分配与释放的额外开销；利用内存映射文件技术将文件I/O操作转化为内存访问，减少内核态与用户态的数据拷贝；引入仰角序号排序与连续性校验机制，确保虚拟体扫描数据在仰角维度上的时序一致性与完整性。 2.5 关键技术2.5.1 流式处理地面自动气象站数据格式标准化后，其编报数据分为国家气象站小时数据、国家气象站分钟数据、区域气象站小时数据和区域气象站分钟数据4种。目前国家级每日收到的地面自动气象站数据总量超过3500万条，每分钟平均约2.5×10^4条，在整点时刻小时数据和分钟数据集中到达，使其并发量超过每分钟1.0×10^5条，是平均水平的4倍，显著增加了数据处理难度。传统处理技术难以应对自动气象站高频次、高并发的数据特征。在气象大数据处理领域，传统处理框架(如Hadoop Map/Reduce)虽在气象历史数据批量分析中应用广泛[30-31]，但受限于离线计算模式与小文件处理效率瓶颈[32]，无法满足实时性要求。Apache Storm作为实时流处理框架，凭借低延迟、高容错特性，在多个业务时数据处理中表现优异。鉴于地面气象观测系统持续生成增量数据，天然形成无眼数据流，具有高时效、低时延的流处理需求，Storm框架成为其理想处理方案。 2.5.2 海量DI动态双模发送高频次高并发的地面自动气象站数据，一方面，导致数据处理人库的压力激增；另一方面，其处理过程生成的海量DI引发监控系统传输通道拥塞。由于自动气象站小时数据与分钟数据在整点集中到达，每条数据需入多表并生成多条DI，整点附近DI生成量可达每分钟几十万条，瞬间占满Storm集群的端口资源，引发DI发送失败，影响天气数据从库完整性的判断，触发人库不完整告警。 由于气象数据时间分布不均衡，简单采用批量发送模式，容易在数据量少时长时间达不到阈值，造成DI的传输延迟。为此，处理系统中采用动态双模传输策略，在保留批量发送的基础上，增加定时触发，以动态时间窗口与批量阈值双重判定，缓解高并发拥塞，避免低延迟，实现海量气象监控信息的实时推送。 2.5.3 配置化驱动的通用处理天擎里，雷达、卫星等900多种非结构化数据(约占数据种类总数2/3)以索引加文件方式为各类气象业务提供服务，应用于预报预警、防灾减灾等领域，且预计每年新增150多种。但传统针对特定数据文件的硬编码开发模式，难以应对日益多样化的数据格式与文件名规则，对新数据快速接入需求响应迟缓，成为新数据快速应用的技术阻碍。 为提高新增数据接入速度，在数据处理系统中自主设计研发了配置化驱动的通用处理技术，通过在配置文件支持函数计算、表达式计算等方式，实现索引提取生成、文件迁移写入的可配置化操作，提升天擎新增非结构化数据的接入效率。 2.5.4 同一数据多元并行处理天擎业务场景复杂，用户需求异构性强。如台风预报数据，既需数据解码进行可视化应用，又要满足预报员即时访问原始报文需求。传统的多路分发虽然庞大，但会使通信系统分发压力倍增，造成带宽浪费，且限制了系统扩展性。 为应对上述问题，数据处理系统设计多路复用机制，实现对同一数据的多元并行处理。针对需多元处理的数据，系统在RabbitMQ上复制队列，两队列中的通知消息相同且对应共享文件系统上的同一数据文件，随后可并行开展不同处理，同时进行结构化解码提供要素服务并进行非结构化人库提供原始文件服务。此设计既满足异构用户需求，又避免通信系统重复推送数据的负担。 2.5.5 负载均衡与可靠性数据处理系统引入RabbitMQ队列集中管理同类型数据，各队列可按需灵活启动一个或多个处理进程，实现数据的负载均衡处理。借助负载均衡机制，可显著提升处理速度。多个处理程序并行运行，同时处理多个消息，大幅缩短处理时间，如国家级系统在多台服务器启动超过10个进程并行处理X波段雷达数据。同时，该并行架构具备容错能力，当某处理进程被失效时，其未确认消息会被RabbitMQ自动重分类其他正常进程，保障数据完整性与处理连续性。 数据处理系统采用全流程高可靠性设计：RabbitMQ 队列消息持久化存储并启用于动确认模式，确保处理程序异常时消息能分配给其他进程或重启后续航，实现断点续航处理，保障消息有效处理；消息拆分转发前先确认数据文件存在再发通知，保证后续处理流程可访问数据；处理非结构化数据文件时先写入目标存储再记录路径至索引，确保用户能凭路径访问文件。同时，为保障 7×24 h 业务运行，系统针对各类异常构建自愈能力，设置自动重连机制，应对网络抖动等导致的 RabbitMQ 和数据库偶然连接异常，实现网络间断自动恢复；共享文件系统该写错误时多次重试，降低偶然性读写失败概率。 2.5.6 人库接口数据处理系统依据下游数据存储服务系统的架构设计，针对不同类型的数据库（包括分布式关系型数据库、分布式表格系统、分布式分析型数据库等）以及分布式文件系统和对象存储等存储介质，设计开发相应的数据入库接口。这些接口实现了气象数据根据具体需求灵活入库的功能，可使地被数据处理流程调用，以满足不同应用场景的需求。 为优化气象数据入库效能，人库接口集成数据库连接技术，预初始化并动态管理持久化数据库连接以实现连接复用，避免传统连接创建/销毁的开销。同时采用批量入库策略整合多条记录为单一操作降低 I/O 频次，并构建智能回退机制，批量操作失败时自动切换至单条入库模式保障数据完整性，结合失败重试算法对异常连接按退避策略重试未完成数据写入，依托事务隔离与错误日志追溯实现入库可靠性与容错性。 3 全国业务运行部署和应用3.1 业务部署为提升业务系统稳定性，天擎采用两地三中心的业务运行布局，极大增强系统安全备份能力。数据处理系统在北京、各楼及西安各中心等规模部署，实时处理相同业务数据，源数据通过通信系统进行实时同步，确保不同中心源数据一致。若主中心遇大规模硬件故障，可快速将数据服务切换至其他中心，保障业务连续性。 数据处理系统在国家级和省级采用统一的技术架构、处理标准和存储结构，以规范国家级和省级气象数据业务环境。部署采用高可靠的部署方式，各个处理流程均部署在多个节点上，任何一个节点有机时均能保证数据处理的正常业务，从而避免单节点故障引起的业务中断。同时，各处理流程均采用守护进程方式启动，在发生偶然异常时可由守护进程重新启动，避免由于数据异常、节点资源不足等引起的偶然性失效。 部署时，各处理流程集中部署至单独目录，配置含公共与私有两部分。二者文件格式一致，但配置项数量和内容不可同。程序启动时先加载公共配置，再加载私有配置，相同配置项以私有为准，最终生效配置为二者合集。公共配置便于批量修改某流程下的全部数据，私有配置可实现特定数据个性化修改，实现共性与个性结合。 3.2 业务应用2021 年 12 月数据处理系统随天擎一起在国家级和 31 个省级气象信息部门实现业务化运行。如表 2 所示，截至 2024 年底共实现 1300 多种数据的实时处理，日处理 700 多万个文件，近 10 TB 数据，入库 2 亿多记录，发送 1 亿多条 DI，为天气分析、模式预报[33]，实现产品生成、防火减灾[34]，预报检验[35]等气象业务和 2022 年北京冬奥会、2023 年杭州亚运会、川藏铁路建设等重大活动提供了基础数据保障，并在“23·7”华北暴雨、台风摩揭 (2411) 登陆等重要天气过程服务中发挥重要作用。
3.2.1 基础数据支撑数据处理系统构建多元数据处理体系，在结构化数据处理方面，融合解码算法研究，实现国内外地面、高空、海洋、辐射、卫星等 200 余种数据的实时解码处理。应用 Storm 流式处理既解决了国家级海量自动气象站外缘数据的快速处理难题，又赋予省级系统全面处理全国地面自动气象站数据的能力。系统完成北斗探空、辐射、酸雨、农业气象等标准化格式消息数据的解码，有力推动数据格式标准化。此外，系统成功解决了国内雨滴谱、交通站、地基垂直观测产品、浮标、大气成分等国内观测以及全球地面、高空、海洋、飞机、卫星云等 100 余种数据的实时处理与入库问题，为各类业务应用提供基础数据。图 3 为 2022 年 8 月 16 日 06:00 (世界时，下同)中国气象局全球同化预报系统从天擎获取的国内外多颗卫星云导风数据的同化应用情况。数据处理系统处理的各种观测数据为我国全球数值天气预报模式和全球大气分析构建初始数据提供了有效支撑[36]。 在非结构化数据处理上，系统采用通用配置化处理技术，成功实现了 X 波段天气雷达、相控阵雷达、天气雷达拼图 V3.0 产品、ART(anylisis real time) 实况产品和风雷、风清、风顺预报产品等900多种非结构化数据在天擎的配置化入库，使非结构化数据接入开发时间从10d大幅缩短至1d，显著提升了数据接入效率。 3.2.2 提升数据时效数据处理系统应用Storm流式处理技术实现对高频次高并发的地面自动气象数据的快速解码入库处理，国家气象站小时数据的服务时效由CIMISS的175s提高至天擎的78s，约7×10⁴个区域气象站小时数据的服务时效由CIMISS的5min提高至天擎的2min。对于雷达基数据，数据处理系统通过优化处理流程，减少从传输到入库的落地次数，将数据处理时效从CIMISS的20s提高至天擎的10s。 数据时效的提升，一方面让各种气象业务系统能更早地查看相应数据，在不增加后端资源的情况下将相应产品生成的时间提前，同时让ART实况等在固定时间启动的应用获得的自动气象数据量加倍，提升产品质量；另一方面使强对流监测预警等系统更快捕捉到超出要素阈值的信号，为解决当前短时临近预报业务面临的“既要时效性强，又要预报精准”的痛点问题[27]提供了基础的数据支撑。在公众预警发布领域，数据时效的提升可以缩短预警信号从生成到发布的链路延迟，使雷暴大风、冰雹等强对流天气的预警提前量增加，有效扩展公众响应时间窗口，减轻生命财产的损失。 3.2.3 重大活动保障基于开放性处理框架，数据处理系统陆续解码处理了冬奥超声风秒级观测、分钟级辐射等10余种北京冬奥会专用数据，为2022年北京冬奥会气象服务提供了数据保障。图 4 为 2022年2月5日02:00:06国家高山滑雪中心赛道站点的超声风传感器观测的秒级风数据(单位：m·s⁻¹)。 在应对自然灾害方面，系统也发挥了重要作用。在“23·7”华北暴雨期间，依托原有处理框架，连夜建立实况插补站点数据的入库流程，保障模拟站点的数据服务；2024年陆续为广东、陕西、海南等7省市应对梅大高速路面塌方、“7·19”高塔作水大桥塌方事故、台风摩揭(2411)登陆等重要天气过程提供了快速稳定的实况插补数据。图 5 为 2024年9月6日12:00台风摩揭(2411)登陆海南，造成超过70%的自动气象站数据中断，实况插补数据的降水分布图。 在小微铁路重大工程建设中，数据处理系统实现了川藏铁路沿线自动气象站、激光雷达、测风塔等多种数据的分析和处理，为工程建设提供了基础的数据保障。此外，在北斗探空的升级换代中，数据处理系统设计了L波段业务数据、北斗探空试运行数据、北斗探空业务运行数据等并行处理流程，确保业务切换过程中高空数据的稳定服务。 3.2.4 省级应用数据处理系统在国家级和省级采用统一的技术架构和标准，因此国家级新增数据的处理程序可以直接移植到省级部署，提供省级用户服务。国家级开发的微波辐射计、毫米波测云仪、全球导航卫星系统（Global Navigation Satellite System,GNSS）水汽、气溶胶激光观测仪等地基垂直观测产品数据的处理程序直接部署到全国各省，其中浙江利用该系统为2023年杭州亚运会开闭幕式和赛事服务提供全天候分钟级垂直观测数据，图 6 为 2023年9月23日00:00—23:58杭州站微波辐射计分钟级高空温度剖面图。 针对省级特色结构化数据开发，数据处理系统提供了相应的软件开发工具包，可以让省级技术人员快速实现业务逻辑，提升开发效率。例如山东应用软件开发工具包开发了山东设施农业多类该省特色数据的处理程序，为省级用户提供服务。 针对省级特色非结构化数据接入，省级可直接应用非结构化通用配置框架完成。四川、浙江、山东、内蒙、陕西、福建等省市使用非结构化通用配置框架完成了160多种该省特色数据接入省级天擎，为该省预报预警等业务提供了数据支撑。例如四川使用通用框架完成了四川省智能网格短时临近预报、西南区域数值模式产品等多种本地特色数据接入省级天擎，在四川省的预报预警、防灾减灾等业务和2023年成都第31届世界大学生夏季运动会中得到应用。 4 小 结针对气象数据传输与服务特性，天擎数据处理系统设计了多种处理流程，实现了通信与存储的无缝衔接，有效解决了国内外地面、高空、海洋、雷达、卫星及数值模式等多源异构数据的快速接入问题，成功将1300余种数据接入气象大数据云平台。系统具备高可用性与弹性扩展能力，可有效应对单节点故障，自2021年12月正式业务化运行以来一直保持稳定运行状态，为气象预报预警、防灾减灾等业务和“23·7”华北暴雨、台风登陆等重要天气过程的监测与分析提供了坚实的数据基础。得到主要结论如下： 1）针对结构化解码的数据，系统研发200余种解码算法，实现自动气象站、高空L波段、北斗探空、微波辐射计产品等地基垂直观测产品，卫星云导风等多类数据的解码入库。通过采用解码算法与人库逻辑相分离的设计，系统实现解码算法与人库接口的模块化组装，进而支持新增数据的热插拔式开发，提升数据解码的开发效率，为气象数据的快速、准确处理提供了有力保障。 2）针对数据种类繁多的非结构化气象数据，系统研发了配置化驱动的通用处理框架，通过灵活的配置方式快速实现非结构化数据的接入。相较于传统方法，将非结构化数据接入的开发速度提升10倍以上，并成功实现900多种非结构化数据的配置化接入，为各类气象应用提供了坚实的数据基础。 3）系统应用Storm流式处理加速高频次高并发的地面自动气象站数据处理速度，将数据处理时效由CIMISS的5min提高至天擎的2min。针对雷达数据，系统通过优化处理流程，减少从传输到入库的落地次数，将数据处理时效从CIMISS的20s提高至天擎的10s。 4）系统采用多路复用等技术，实现同一数据的多元并行处理，满足用户对相同数据的异构性访问需求，减轻通信系统数据分发的压力，方便后续新技术、新数据库的扩展应用。 参考文献： [1]肖卫青,薛蕾,何文春,等.气象大数据云平台数据处理系统设计与实现[J].应用气象学报,2025,36(06):744-758. 特别提醒：物联网专业交流群欢迎物联网行业相关的人群加入，同时群内欢迎各路社牛、大咖、前辈加入，群内除了不能发敏感内容、色情内容，以及不太建议多次发送推广内容，其他内容皆可畅聊~——交流QQ群724511126，进群的朋友请备注：姓名-单位-研究方向（无备注请恕不通过），由编辑审核后邀请入群！
| 
发表于 2025-11-20 06:24:50