|
1 引言
随着贵州省气象观测系统的飞速发展，山洪地质灾害、非工程措施等项目中单雨量、大雾霾区域的建设提升，不同的气象设备、软件架构、数据库结构、操作系统等造成现有业务平台上同时运行多套气象数据采集、上报及查询的区域站系统，随之带来的传输维护节点过多、数据整体建设缺乏集约化、数据零散、整合复杂等问题。原有的数据服务方式已越来越难以满足业务系统的需求。因此，建立一套系统完善、运行高效和管理方便的气象数据管理系统，探索区域站无数据的整合和业务服务平台的统一，探索的内大量观测系统数据管理与存储的方式并通过管理系统规范整体业务流程，对当前气象信息管理工作来说是非常必要和迫切。 气象局现有多个气象数据自动站采集、上报和查询的业务系统，通过信息网络，汇总全省的上千个气象数据自动采集点的监测气象信息，存入数据库中，同时上报国家局和提供全省相关业务的部门备案查询。由于较多用户的查询对象数据库访问压力大，不能有效的满足业务需求，通过安装配置相应的查询数据服务器，对汇总的采集数据进行分发人库到查询站服务器系统中，提供全省相关业务的部门备案查询，原系统数据库只保证气象数据采集、上报的正常工作。 对查询站的气象数据分发采用网络目录共享方式，复制中心站采集数据文件到查询站服务器的采集人库目录中。该分发系统只支持2个查询站点的数据分发，并且当网络连接出现故障时，就不能及时复制中心站采集数据文件到查询站服务器中，当中心站已导入了上传的采集数据文件，会立即删除该数据文件，就会出现分发数据复制丢失数据文件的问题。 自动站采集集中的气象数据没有系统的管理，不能按地区提供所需的气象数据，随着气象监测自动站及相关系统的上线，现有的气象数据管理方式已不能满足气象预报工作的要求。 及时有效的气象监测数据是气象预报的基础保障，系统高效地对气象监测数据进行管理维护是气象信息化管理的需要。因此，本项目的目的是，采用成熟的计算机网络和数据库技术，开发设计一套系统完善、运行高效和管理方便的气象数据管理软件系统，涉及气象数据从采集、汇总、上报、分类、归档、查询及运行监控等方面，满足气象预报对气象监测数据系统管理的要求。 2 采用的技术和方法
采用全新的业务系统架构，建立一个全新的气象数据集中管理服务器（Windows Server操作系统+SQL数据库系统+FTP服务+HTTP服务）。其优势如下： 采用FTP服务方式接收中心站上传和查询站下载的气象数据文件。FTP是一个稳定可靠的网络数据传输协议，可以有效的运行气象数据文件的采集集中和分发； 采用MS SQL Server数据库存储管理系统的配置参数，可以集中管理维护系统运行配置参数，统一管理在采集中心站、查询站和数据库中管理服务器上相关系统软件的运行配置； 采用系统运行状态守护监测进程，实时监测采集中心站、查询站和集中管理服务器上相关业务程序的运行状态，保障业务程序的正常运行； 采用WEB方式显示业务系统各个站点的运行状态监测结果，及时发现和处理异常站点的状况；
数据层设计如下：
配置参数数（Qx_L,CS）
参数类型 系统、采集、集中、查询
系统参数 管理员口令、FTP服务器IP、FTP用户名、FTP用户口令
采集参数 分类汇总时间段
集中参数 FTP根目录、数据归档根目录
查询参数 下载间隔时间 地区分类表（Qx_L,QQ）
查询信息表(9x_t_cx)
查询信息表(9x_t_jk)
3 项目介绍
3.1 网络拓扑
中心站安装配置 3 个系统程序，系统运行守护程序、实时复制程序及分类汇总上传程序。系统运行守护程序实时监控实时复制程序和分类汇总上传程序的运行状态，实时复制程序及时把中心站采集入库目录中的气象数据文件复制到 FTP 上传目录中，分类汇总上传程序定时分析 FTP 上传目录中的气象数据文件内容，按地区代码分类形成地区分类数据文件，并把原气象数据文件及分类文件上传到集中管理服务器 FTP 相应目录中。 集中管理服务器安装配置 2 个系统程序，系统运行守护程序和集中管理服务器安装程序。系统运行守护程序实时监控集中管理服务器的运行状态，集中管理服务器安装程序实时监测 FTP 上传目录中的气象数据文件，按查询站点定义分类复制到相应的查询下载 FTP 目录中，另外，定时把地址的气象数据文件打包后编归到备份目录中。 查询站安装配置 2 个系统程序，系统运行守护程序和查询下载程序。系统运行守护程序实时监控查询下载程序的运行状态，查询下载程序按查询站点定义从集中管理服务器 FTP 相应目录中下载气象数据文件到本地系统中。 3.2 项目试验环境分析
本气象数据管理系统基本测试环境可以由一个集中管理服务器系统、一个数据库集中站系统和一个查询站服务器系统组成。 在 VMWare vSphere 虚拟化平台中，创建一个基于 Windows Server 2003 系统的虚拟机，作为本项目测试的集中管理服务器。安装配置 MS SQL Server 数据库、FTP 服务和 IIS 服务，并配置一个 40G 的虚拟磁盘作为气象数据集中存储的存储空间，安装运行系统守护进程和集中管理程序。 完成一个在 VMWare vSphere 虚拟化平台中的气象监测信息查询服务虚拟机，作为本项目测试的查询站服务器，安装运行系统守护进程和查询下载程序。 把一台基于物理 PC 机的气象数据采集中心站，作为本项目测试的数据复制，分类上传中心站，安装运行系统守护进程，实时复制程序和分类上传程序。 3.3 项目企业场景扩展
本项目系统软件主要是针对气象数据的自动采集复制、内容分类、集中上传管理和自动分发下载。由此延伸： 满足今后气象自动监测站系统不同厂家、只需符合国家对气象监测数据格式要求的动态增减； 可以把数据实时复制程序配置为文件系统自动同步软件，按配置定义，自动同步项目录中的文件到多个目标目录中的文件系统实时复制； 把集中管理和分发下载配置为网络文件自动分发软件，基于数据库管理集中配置，启动把 FTP 文件服务器数据文件分发到各个客户端系统中；
3.4 网络评估
本项目系统软件采用 FTP 进行网络数据传输，并且都是较小的数据文件，对网络带宽不会造成较大的占用，实际测试不超过 10Mb/s 的网络带宽占用，因此，不会影响其他业务系统的正常网络通信。 3.5 服务器方案设计
本项目需要一个集中管理服务器系统，提供 FTP 服务和数据库服务，建议配置 2 核 CPU 和 4GB 内存，还需要一个足够大的存储空间来存放集中的气象数据文件，测试时，一个中心站一天产生 300MB 左右的数据，经压缩后大概有 40MB，实际使用建议配置 1TB 的存储空间。推荐以 VMWare 虚拟机的方式安装配置该服务器。 3.6 功能介绍
本项目是一个与生产环境实时关联的系统，对系统软件本身的实时性、稳定性和管理要求较高，因此，检查本项目软件系统最新的方法，就是在一个与真实环境相关的测试平台上长时间运行本系统软件，达到本项目软件系统的功能、性能要求、具体功能如下。 系统运行守护程序： 实时复制程序： 定义气象数据文件的采集目录和上传目录； 监测中心站的气象数据文件采集目录，及时复制该目录中的气象数据文件到 FTP 上传目录中； 如果发生网络问题使得 FTP 无法上传时，当上传目录中的文件数超过 500 个后，实时复制软件将在上传目录下创建当前日期的目录（如 20121008），并把后续中心站采集的气象数据文件复制到该目录中，以免出现上传目录中未处理文件数量过多的情况； 复制数据文件时，在原数据文件名中附加中心站机器编号，以避免与其它中心站的气象数据文件重合；
分类汇总上传程序： 每次程序启动，从系统配置数据库中获取系统配置参数信息，并把上传目录及分类文件目录中未上传的数据文件，上传到集中管理服务器 FTP 缓存目录下的相应目录中； 通过系统参数中气象数据文件名关键字的定义，排除含有定义关键字的非标准数据文件(不做处理)； 分析气象数据文件内容，创建地区分类的气象数据汇总文件，按定义的时间段收集汇总，考虑气象数据的时效性和数据文件数量的平衡关系，建议设置为 2 分钟，实际测试，从数据采集中心站到查询客户端输入时间不大于 30 秒钟。并按标准格式和地区编号定义相应的分类气象数据文件名； 把气象数据文件及地区分类数据文件上传到集中管理服务器 FTP 缓存目录下的相应目录中(ALL 及地区 FTP 目录)； 每天晚上 12 点，结束所有打开的地区分类文件，并把所有上传目录下的气象数据文件及分类数据文件上传到 FTP 服务器中； 定时 (20 秒钟)更新系统监控表中对应的站点记录(本次上传文件数，当天累计上传文件数，本次运行时间)；
集中管理分类程序： 管理系统用户口令更改，定义系统 FTP 根目录及归档根目录，定义系统运行参数； 管理维护查询站点信息(编号，查询站 IP，分发源 FTP 目录名，下载 FTP 目录名)； 管理维护地区分类信息(编号，地区代码，FTP 目录名，说明) 并可导出生成相应的 Excel 文件； 实时监测系统各站点运行的状态，如果发现站点上次状态更新时间已超过 5 分钟，把该站点状态置为异常； 定时分类复制数据文件，按查询站点配置信息，从 FTP 上传缓存相应目录中复制到定义的查询目录中，再归档到 FTP 当前日期目录下相应目录中； 每天晚上 12 点，打包压缩指定天数的 FTP 目录中的气象数据文件，并归档到目标目录下相应月份目录中； 定时 (20 秒钟)更新系统监控表中对应的站点记录(本次复制文件数，当天累计复制文件数，本次运行时间)；
查询下载程序： 定义查询服务器数据入库目录； 定时从集中管理服务器下载气象数据文件到本地数据缓冲目录(数据入库目录下的临时目录)中； 定时把数据缓冲目录中的气象数据文件移动到数据入库目录中，保持数据入库目录中的文件数不超过 20； 定时 (20 秒钟)更新系统监控表中对应的站点记录(本次下载文件数，当天累计下载文件数，本次运行时间)。
4 结论
气象监测数据库中管理系统实现了从采集、汇总、上报、分类、归档、查询到运行监控的管理，能满足气象预报员和相关人员对气象监测数据系统管理的要求，是一套系统完善、运行高效和管理方便的气象数据管理软件系统。 参考文献： [1]汪华,王红丽,易丁.气象监测数据集中管理系统的开发与实现[C]//中国气象学会. 特别提醒：物联网专业交流群欢迎物联网行业相关的人群加入，同时群内欢迎各路社牛、大咖、前辈加入，群内除了不能发敏感内容、色情内容，以及不太建议多次发送推广内容，其他内容皆可畅聊~——交流QQ群724511126，进群的朋友请备注：姓名-单位-研究方向（无备注请恕不通过），由编辑审核后邀请入群！
| 
发表于 2025-10-9 06:12:58