赵春燕 作品数:21 被引量:50 H指数:4 供职机构: 国家气象信息中心 更多>> 发文基金: 国家公益性行业科研专项 国家自然科学基金 更多>> 相关领域: 自动化与计算机技术 天文地球 文化科学 更多>>
高性能气象数据存储集群及在线扩展技术应用 被引量:4 2013年 为了满足气象数据快速增长和高效应用的业务需求,设计采用基于SAN和GPFS的高性能存储集群进行数据存储,并随着数据量的快速增长,实现灵活在线扩展以满足数据存储需求。结合国家级气象资料存储检索系统、省级风能资源数据库共享服务系统和风能资源数值模拟系统的存储设计,阐述基于SAN和GPFS技术的存储集群架构,并重点介绍存储集群的在线扩展技术的实现。基于SAN和GPFS的存储集群在线扩展技术包含在线扩展服务器节点、在线扩展存储容量和在线扩展文件系统容量三方面,实现了气象数据存储系统随着业务数据变化的灵活扩展,使系统具备优秀的扩展性和适应性。 赵春燕 孙英锐 董峰 刘立明关键词:存储集群 SAN GRAPES版本管理系统备份恢复机制研究与实现 随着GRAPES模式的不断发展,为提高现有的分布式并行工作的效率,基于Perforce配置管理工具建立了GRAPES模式版本管理系统。为确保GRAPES版本管理系统的安全性及可用性,预防应用故障带来的风险,本文基于Per... 赵春燕关键词:GRAPES 版本管理 备份 文献传递 通用气象数据格式转换工具METPAD设计与实现 被引量:4 2022年 气象数据是现代天气预报和气候预测业务的重要基础支撑,种类众多格式复杂,针对气象数据应用研究中缺乏便捷通用的格式转换处理工具的问题,设计开发了一种通用气象数据格式转换工具,采用Python开发算法工厂并调用第三方气象数据处理库集成实现气象数据的解读分析和格式转换,支持多种主要气象数据的处理,面向应用场景,提供命令行和可视化应用终端。该工具已在北京高性能计算机应用中心网站发布,并在数值预报模式中试支撑环境中部署应用。 赵春燕 王彬 孙婧 孙婧关键词:气象数据 NETCDF HDF 数据分析 气象算力统一管理与服务的设计与初步实现 2025年 【应用背景】随着气象信息化高速发展,气象算力呈现异构多元化、规模庞大、多地部署及应用需求持续多样化增长等特点,导致资源统筹集约难、管理分散低效、使用复杂度高、负载不均衡等问题。【目的】为解决传统单一算力系统直接登录使用的局限性,本文设计并实现了气象算力统一管理服务平台,旨在提供算力资源的综合应用支撑,持续高效地满足数值预报业务及研发需求。【方法】气象算力统一管理的整体设计思路遵循层次化理念,围绕应用和服务需求,构建资源层、管理层和服务层三大核心组成部分,实现融合气象统一身份认证的多维鉴权及权限自动匹配的资源访问控制,提供新的基于WEB的算力统一访问、基于REST API的调度适配和作业分发运行等核心功能。【结果】国家气象信息中心首次建设气象算力统一管理服务平台,在中国气象局数值预报中心等核心业务单位开展试点应用,初步实现气象算力统筹管理和融合应用服务,提升了资源利用效率与管理效能。【结论】研究和建设成果为气象预报预测业务及研究提供了全新的资源使用方式,强化了气象领域的算力服务和支撑能力,具有重要的实践意义和应用价值。 沈瑜 孙婧 刘金霞 赵春燕 姚旺 常飚 梁雪关键词:统一身份认证 资源访问控制 气象大模型计算资源评估技术方法 2025年 【目的】近年来,气象大模型在天气预报领域内展现出超越传统数值方法的潜力。然而,其规模化训练和部署面临严峻的计算资源挑战。现有资源评估方法主要针对自然语言处理(NLP)领域的大模型,难以适应气象任务的动态计算需求(如时空多维特性)以及气象模型架构的独特性,导致资源利用率低下和算力成本高昂。为此,本研究旨在构建一个的气象大模型计算资源评估框架,通过量化模型的参数量、计算量、显存占用与通信开销,为硬件配置与资源分配提供理论依据,以降低计算成本,并确保气象大模型的高效稳定研发运行。【方法】提出多粒度计算资源联合评估框架(Multi-Granularity Computing Resource Joint Evaluation Framework,MGCRJEF),这个框架通过分模块建立参数量计算模型、时空感知FLOPs评估模型、显存占用模型及分布式通信分析模型,并结合气象数据的时空异质性特征,全面评估气象大模型对硬件资源的核心需求。【结果】以基于Swin-Transformer架构的盘古气象大模型(Pangu-Weather)为案例进行分析。该框架揭示了该模型的资源需求特点,例如在高分辨率输入时显存占用增加,在多节点训练中通信开销成为性能瓶颈,这些发现为资源优化提供了实践指导。此外,该框架计算的资源需求与实际的资源消耗基本一致,验证了该框架的合理性和有效性。【结论】MGCRJEF框架为气象大模型的资源需求评估提供了标准化方法,支持智算硬件环境下的资源规划,为气象领域的模型部署和硬件优化提供了理论依据和实践参考。 石宜衡 王琦祎 孙婧 赵春燕 邓帅 吴鹏 姚旺关键词:资源优化 基于Spring MVC的高性能计算机监视管理系统设计与实现 被引量:11 2017年 高性能计算机系统(HPC)是气象业务及科研应用的重要基础平台^([1])。为改变气象系统内部监视平台分散的现状,规范故障处理流程,保障系统稳定运行,国家气象信息中心对国家局和区域中心9套高性能计算机系统建立统一监视管理,提供一个能实时监视、故障流程化处理、性能分析、日志记录及统计查询的共享平台。监视管理系统采用Spring MVC框架技术,结合MVC设计模式和分层架构思想对系统的体系结构进行设计,达到了高内聚低耦合的目标,提高了项目的扩展性和开发效率。2016年8月监视管理系统业务运行,涵盖监视、管理、配置等核心服务项目,对气象业务和科研起到了有效的保障作用。 顾文静 赵春燕 李娟关键词:高性能计算机系统 SPRING MVC AJAX 一种基于气象超算的人工智能大模型训练过程异构资源指标时序可视化方法及系统 本发明公开一种基于气象超算的人工智能大模型训练过程异构资源指标时序可视化方法及系统,包括如下步骤:步骤P1、超算架构智算资源指标采集,生成标准文本格式的日志文件;步骤P2、日志解析和入库存储,存储到分布式检索与分析引擎中... 赵春燕 常飚 李娟 孙婧 王琦祎 石宜衡 辛昱杭 韩同欣 沈瑜 牛恺泽 姚旺 邓帅 张新诺 刘成林 吴鹏 李江涛气象高性能计算环境中模式协同研发管理 被引量:4 2022年 面向气象科学的数值预报模式的研发过程是一个多学科交叉、持续改进型的复杂系统工程。在地球系统模式、E级计算和后摩尔时代的发展趋势下,气象数值模式研发协同面临更复杂的协同、更专业的计算平台调试分析、更广泛的共享应用等挑战。从以上需求和挑战出发,在气象高性能计算环境中,采用Git分布式技术、Python及工作流技术,建设气象数值模式研发协同管理支撑环境和标准,实现模式协同研发过程的管理、成果的集成共享和研发调试试验及分析一体化的支撑,以提升模式研发协同效率和业务化效率,保障研发成果的完整性和可跟踪性,提升大规模科学软件研发的管理能力。应用效果表明,本研究规范化了模式研发的协同过程,并建立流畅的协同支撑环境,提升模式迭代升级和业务化效率,能够为科学研究、科学计算等大型传统科学计算模型的持续研发改进管理及软件工程协同管理提供借鉴。 赵春燕 孙婧 胡江凯 周斌关键词:研发管理 中试 中国气象局S2S数据归档中心设计及关键技术 被引量:8 2017年 中国气象局S2S(Sub-seasonal to Seasonal)数据归档中心建设是中国气象局承担世界气象组织(WMO)的世界天气研究计划(WWRP)和世界气候研究计划(WCRP)任务,由国家气象信息中心负责设计和实现。该文介绍了S2S数据归档中心建设中涉及的数据交换、数据检查及处理、数据归档存储及数据服务门户全流程系统设计和实现。针对各业务中心生产的S2S数据配置差异较大造成数据交换、同步较难这一问题,采用基于FTP(file transfer protocol)的数据推送和基于ECMWF(European Center for Medium-range Weather Forecasts)WebAPI主动数据下载相结合的方式,说明数据交换、同步方法和策略。由于S2S数据量巨大难以高效管理服务,已设计统一的数据组织形式和存储规则,实现根据数据检索条件解析获取数据存储位置,提供便捷的数据检索下载服务。自2015年11月15日中国气象局S2S数据门户系统对外开放,目前数据门户系统已有超过18个国家的300个用户注册并下载数据。 肖华东 肖华东 孙朝阳 孙婧 孙朝阳 聂元丁 赵春燕 张新诺 常飚一种兼容气象超算架构的多态异构智算资源融合调度方法及系统 本发明公开一种兼容气象超算架构的多态异构智算资源融合调度方法及系统,包括创建服务集群和计算集群;构建计算集群算力聚合应用服务;创建气象超算架构智算集群融合调度支撑环境;气象超算架构智算集群内构建弹性超算服务;构建适配多态... 赵春燕 孙婧 辛昱杭 梁雪 王琦祎 李娟 姚旺 韩同欣 沈瑜 李江涛 吴鹏 张新诺 邓帅 马强