宋关福:大数据时代的GIS软件技术发展

2018-03-06 08:51:57    来源:《测绘地理信息》2018年2月

摘要:本文提出了大数据GIS技术体系,包括空间大数据技术、传统GIS 的分布式重构以及大数据GIS支撑技术。

来源:《测绘地理信息》2018年2月

作者:宋关福,钟耳顺,李绍俊,蔡文文,王少华


  摘 要:空间大数据对GIS软件技术的发展提出了新的要求和挑战。但业界对于空间大数据的认知有待明晰,对于如何挖掘大数据的价值尚存疑虑。首先阐述了空间大数据的内涵,在此基础上,提出了大数据时代的GIS基础软件技术,并分析了其应用前景。大数据GIS软件技术包括针对空间大数据处理和挖掘的空间大数据技术,也包括针对经典空间数据管理和处理的对传统GIS功能的分布式重构,同时还需要云GIS技术和跨平台GIS 技术作为支撑,提供弹性的计算资源和服务以及支撑跨平台的访问和应用。研究表明,大数据GIS软件技术和产品可以有效地降低大数据挖掘的技术门槛,降低空间大数据挖掘的成本。

  关键词:空间大数据;分布式存储;分布式空间分析;流数据处理;大数据可视化

  国际咨询公司Gartner使用光环曲线来观察新技术发展所处的阶段[1]。对光环曲线体现的技术发展阶段研究表明,学术研究领域,越早介入新技术的研究和探索越好;但生产实践领域,却需要审时度势选择进入的时机,不要在概念炒作顶峰阶段因“时髦”而介入,那时的技术尚不成熟,但过度炒作已导致大家期望很高,很可能投入大量经费却没有相应产出。等到了低谷期,也别因“过时”而错过,这一阶段往往预示着触底反弹的机会[2]。

  2017年GIS技术的光环曲线如图1 所示。三维GIS 正处于复苏期,将进入成熟应用期,云GIS紧随其后进入复苏阶段[3]。尽管IT 领域的人工智能已经在过热期———概念炒作的顶峰,但GIS的人工智能刚刚开始萌芽,可能在未来一到两年会出现探索的热潮。大数据GIS已经过了最热的时期,正在进入低谷期,反而是介入空间大数据和大数据GIS技术发展与应用的最佳时机[3,4]。

  2017年GIS软件技术光环曲线

  图1 2017年GIS软件技术光环曲线

  1 空间大数据的内涵

  大数据GIS的适用对象是空间大数据,但空间大数据并不等于海量空间数据。对于已有的经典海量空间数据,即使采用IT 大数据技术,如分布式存储、分布式计算等框架去管理、处理和分析,也不会改变其本质,它们还是经典空间数据。因为大数据的“大”,不仅仅意味着数据量大[5]。

  大数据具有体量大、种类多、变化快、价值密度低等特征[6]。体量大、变化快意味着需要更快的软件处理性能,种类多则需要去扩展开发更多的模型。价值密度低意味着大数据是贫矿,即单位体量的矿石能提炼的有价值物质少。贫矿意味着冶炼难度大,计算量大,这是大数据很重要的一个特性。

  贫矿是否有开采价值很大程度取决于技术手段。数据的价值等于数据体量乘以价值密度再减去挖掘分析的成本。如果数据体量足够大,技术足够先进,就能有效降低挖掘成本,使数据发挥价值。大数据对于传统的数据分析技术来说确实是无法有效提炼价值信息的贫矿。但随着技术的提高,以前无法冶炼的贫矿也能提炼出有价值的物质。所以大数据核心的价值在于计算,在于挖掘分析的工具和方法。

  从数据、信息、知识及智慧(data to information to knowledge to wisdom model,DIKW)金字塔模型[7]来看空间大数据,如图2 所示,在该模型中,数据位于最底层,是记录世界的原始素材;信息在第二层,是数据加工处理后得到的有逻辑的数据;知识在第三层,是经过组织化的信息;最顶层为智慧,是知识经过应用之后得到的,可以用于预测未来。在这个金字塔中,空间大数据是位于最基层的原始素材,是数据。从原始数据中提炼出的有逻辑的数据,才是信息,如从原始测绘数据中加工出的测绘4D 产品。大数据挖掘的实质就是从数据里提炼信息和知识的过程,也就是把它从DIKW 金字塔底层向上提升的过程[6,8]。

  DIKW金字塔看空间大数据

  图2 DIKW金字塔看空间大数据

  参考大数据的特征,空间大数据可以定义为带有或者隐含有空间位置,具有体量大、变化快、种类多和价值密度低特点,常规软件工具无法处理,需要更先进的技术才能让其具有更强的决策力、洞察力、流程优化能力的数字资产,包括手机信令数据、导航轨迹、车船位置、社交媒体,搜索引擎关键词、电商交易记录、公交卡刷卡记录、水电表数据等。如在社交网络领域,每一条微博或微信的发出,后台服务器记录了其大致位置;利用百度搜索引擎搜索关键词,后台也知道该关键词请求是在什么位置发出的,这些都隐含了空间位置信息,可以归入空间大数据的范畴。

声明:中国勘测联合网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,文章内容仅供参考。