官方微博官方微信
简体中文 | English

科研成果

博士生徐灏在《Environmental Modelling & Software》发文

发布时间:2018-10-09

9月19日,地学系博士生徐灏作为第一作者,博士生李莎作为第二作者,地学系白玉琪副教授,王斌教授以及中国气象局吴统文教授作为共同通讯作者在《Environmental Modelling & Software》在线发表了题为“A collaborative analysis framework for distributed gridded environmental data”的研究论文。该研究为分布式存储的地学数据提供了简单高效的协同分析方案,将数据分析工作由用户端转移到服务端,从而大大减少了本地用户对计算和存储资源的依赖。研究合作者还包括地学系博士毕业生董文浩、黄文誉副教授、徐世明副教授、林岩銮教授和中国气象局吴芳华、辛晓歌、张莉、王再志等专家。

该论文以气候模式数据为例,以CMIP5数据分析为典型应用场景,完成了方法研究。CMIP数据通常存储在分布于世界各地的不同数据中心。现有的模式数据分析方法需要将从这些数据中心大量下载模式数据下载到本地,并在本地进行分析计算。这种方式的不足非常明显:模式数据下载量太大而且重复程度太高,从事模式数据比较分析的研究人员都需要具备很强的本地化的数据管理、处理和分析的软硬件资源,也往往都需要重复性的搭建通用的分析代码和软件环境。本研究分析了现有的模式数据处理软件的不足,设计并实现了气候模式数据协同分析软件框架CAFE (Collaborative Analysis Framework for Environmental data)。

CAFE系统在逻辑上是由一个中央服务器、若干个工作节点,和与工作节点相连接的若干个Web用户界面组成。CAFE工作节点部署在各个数据中心。多个CAFE节点之间具有协同机制,共享一个中央服务器,能够实现全局一致的逻辑视图。用户可通过任意一个Web用户界面,实现数据检索、数据选择、参数设置和分析任务的提交,进而实现分析进度查询和分析结果查看及下载等操作。CAFE的典型技术特征是用户无需下载原始数据即可得到最终的分析结果。

图1 CAFE系统的逻辑设计

白玉琪副教授课题组致力全球变化科学数据基础设施研究。近年来围绕空气质量观测、模式数据分析、城市监控数据交互式检索、海量遥感影像数据的时空索引等应用场景,建成了较为完善的地球科学观测和模拟数据库,提出了多项创新性的技术方法。

目前,CAFE软件原型正在清华大学地学系、中国气象局、国家无锡超算中心、华东师范大学大学、中科院大气所、河海大学等多地球系统模式研制单位进行部署和调试,构建实验性模式数据协同式分析网络。

在国际上,CAFE软件所提出的协同式分析方法,得到了世界气候研究计划(WCRP)耦合模拟工作组(WGCM)国际模式数据基础设施委员会(Infrastructure Panel)的重视。白玉琪副教授应邀介绍了CAFE的协同式技术特征,以及他长期在国际综合对地观测组织(GEO)中推动建立国际观测数据基础设施(GEOSS)的经验。正在开展的国际第六次耦合模式比较计划(CMIP6),预计将产生20-40PB的模式模拟和预估预测结果数据。CAFE有望大幅度地减少未来全球分析CMIP6数据所需要的海量数据传输和本地化存储管理分析的需求,显著地提升模式比较计划的科学研究效率。

《Environmental Modelling & Software》是环境与计算机跨学科领域高水平杂志,根据Thomson Reuters的2017年的文献引用报告,其2017年的影响因子为4.177。在中国科学院JCR分区为计算机跨学科应用领域一区期刊。

 

本论文的引文和原文链接信息如下:

Xu H, Li S, Bai Y, Dong W, Huang W, Xu S, Lin Y, Wang B, Wu F, Xin X, Zhang L. A collaborative analysis framework for distributed gridded environmental data. Environmental Modelling & Software. DOI: 10.1016/j.envsoft.2018.09.007

原文链接:https://doi.org/10.1016/j.envsoft.2018.09.007