当前位置:文档之家› 多源数据集成技术探讨

多源数据集成技术探讨

多源数据集成技术探讨(胡洁 高庆方 李辉 王新福)(黄河勘测规划设计有限公司测绘信息工程院,河南省郑州市花园北路60号,450045)摘 要:随着地理信息系统(GIS)的发展和广泛应用,地理数据日益丰富。

由于地理数据采集方式和应用软件的不同,它们的格式及结构也各不同,导致了多源性地理数据的产生。

本文总结了地理数据多源性的主要表现,提出了多源数据集成和共享的必要性;介绍了多源数据集成的三个必要条件及相互间的关系;以黄河基本河情信息系统1项目为例,介绍实现多源数据有效集成的方法、策略。

研究表明,这种多源数据的处理及管理模式,既能实现多源数据的有效集成,又能提供对多平台的地理数据服务, 非常适合企业化的GIS数据组织,将会成为未来地理信息系统的发展方向。

关键词:地理信息系统多源数据 数据集成 黄河基本河情信息系统1 引言地理信息系统是在计算机软硬件支持下,采集、存储、管理、检索、分析和描述地理空间数据,实时提供各种空间的和动态的地理信息,用于管理和决策过程的计算机系统[1]。

地理空间数据是GIS 的操作对象,是GIS 所表达的现实世界经过模型抽象的实质性内容;它是GIS 中最基础的、也是最重要的部分。

近年来,随着GIS应用领域的越来越广泛,地理数据也在日益丰富。

但是,由于地理数据采集方式和应用软件的不同,这些地理数据的格式及结构也不同,导致了多源地理数据的产生。

目前,GIS 已进入了社会化GIS 时代,GIS 应用需要集多种数据源以及不同数据格式的数据才能完成;随着GIS化的进一步发展、网络技术的广泛应用以及地理数据的数量、复杂性和多样性的增加,多源地理数据的共享和集成已成为必然趋势。

项目背景 “数字黄河”工程基础地理信息平台构建项目作者简介 胡洁,女,武汉大学硕士,助理工程师,主要从事地理信息系统的开发与研究、遥感技术制图应用,e-mail:hujie519@.2地理数据多源性的表现地理数据的多源性主要表现在以下几方面[2,3]:(1) 多语义性。

地理信息指地理系统中的各种信息,地理系统研究对象的多种类性决定了地理信息的多语义性。

对于同一个地理信息单元(实体),其几何特征虽一致,但却对应 着多种语义,既有地理位置、气候、土壤等自然地理特征,也有行政区界限、人口等社会经济信息。

一个GIS会因解决问题侧重点的不同而存在着语义分异的问题。

(2) 多时空性和多尺度。

GIS 数据具有很强的时空特性,一个GIS 系统中的数据源既有同一时间不同空间的数据系列,也有同一空间不同时间的数据序列。

不仅如此,GIS 还会根据系统需要而采用不同尺度对地理空间进行表达,不同的观察尺度具有不同的比例尺和不同的精度。

GIS 数据集成包括不同时空和不同尺度数据源的集成。

(3) 获取手段多样性。

获取地理空间数据的方法有多种,不同手段获得的数据其存储格 式及提取和处理手段都各不相同。

(4) 存储格式多源性。

GIS 数据不仅表达空间实体(真实体或者虚拟实体) 的位置和几何形状,同时也记录空间实体对应的属性。

这就决定了GIS 数据源包括图形数据和属性数据两部分。

图形数据又分为栅格和矢量两种格式。

传统的GIS 一般将属性数据放在关系数据库中,而将图形数据存放在专门的图形文件中。

不同的GIS 软件采取不同的文件存储格式。

(5) 分布式特征。

数据分布式特征是指空间数据存储或更新、使用等操作物理上不在一处,而通过计算机网络基于地学规律、地理特征和过程的相关性在逻辑上联系到一起。

(6) 空间拓扑特征。

空间数据不仅表达地理特征和过程在各种坐标体系的空间位置,并且数据的空间特性之间也有拓扑关系,拓扑关系表现在数据空间特征的面积、连接性、邻接性、连通性、长度等方面。

3 多源数据的集成技术数据、集成软件及集成规则是数据集成的三个必备基础条件[4]。

数据是集成的对象;集成软件是可以处理空间特征、属性特征及其之间关联的通用或专题GIS 软件,或是为数据集成专门设计的软件,它们可以实现集成的大多数操作;集成规则是进行数据集成的依据。

地理数据由于来源不同,其空间参照系及各种参数存在较大差异,若使之匹配,需经一系列的 转换、一致化操作等过程。

目前,实现多源数据集成的方式主要有三种[5]:数据格式转换模式、数据互操作模式和直接数据访问模式。

这三种模式各有所长,但在实际操作中,综合客观要求、项目成本、现有资源等多方面原因,并不单一的使用某一种模式来实现多源数据的集成,而是将多种模式结合使用,实现多源数据的统一存储、管理。

下面以黄河基本河情信息系统项目为例,介绍实现多源数据有效集成的方法、策略。

3.1 系统数据源黄河基本河情信息系统数据库建设中采用的数据类型多样,有属性数据(如流域背景数据)和空间数据(各种图形数据);数据来源、格式丰富,有MapGIS格式的矢量数据、Coverage 格式的数字地形图、GRID格式的DEM数据、纸质图等;比例尺多样,有100万、25万的基础地理数据和不同比例尺的专题数据;而且,不同来源的数据,其数学基础也不尽相同。

因此,多源数据集成涉及到多方面,包括地图比例尺、地图投影、数据格式、数据模型、语义、平面坐标系、高程系、时间的一致性,等等。

为了实现多源数据的集成,项目制定了详细的数据库设计方案,在统一的数学基础上将所有数据库按Geodatabase模型存储,然后存放于数据库服务器上,通过Oracle9i对其进行管理,利用ArcSDE来实现用户与之的连接。

3.2 数据库设计数据库设计是数据建库的基础,是GIS数据处理、分析、统计的关键。

在黄河基本河情信息系统中,所有数据均以全关系数据库的形式存储,因此,数据的分类、编码、表结构设计等环节显得尤为重要。

3.2.1统一的数学基础由于数据来源较多,数学基础不尽相同,要求在数据库中采用统一的数学基础。

数学基础主要是针对Geodatabase数据模型中的数据集(Dataset)而言的,数据集是数学基础的载体,每个数据集可以有不同的数学基础。

统一数学基础包括坐标系统、高程基准、地图投影、偏移参数、中央子午线、标准纬线、比例系数、长度单位等的统一设置。

3.2.2 数据分类、编码及表结构设计数据采集时,依据“数字黄河”工程标准:《黄河基础地理要素分层标准》和《黄河基础地理要素分类与代码标准》,首先对黄河基础地理数据进行分层整理,然后将每一类要素进行分类、编码。

所有信息及要素在数据库中都以表的形式存储,表结构是基于ArcGIS的表结构进行设计的,具有ArcGIS要求的基本字段和扩展字段,这里不再详述。

图1可描述上述过程。

图1 数据分类、编码及表结构设计3.3 数据集成数据库设计完成后,需要根据数据库设计规范进行数据的编辑和入库。

对于纸质地图,扫描矢量化、设置统一的数学基础;对于数字地图,格式不一致的通过 “数据格式转换模式”将数据格式统一转换至Geodatabase格式,这里采用ArcToolBox提供的系列转换工具和FME来实现数据格式的直接转换;创建个人地理数据库(Personal Geodatabase)或远程地理数据库(SDE Geodatabase);在所建数据库下创建多个地理数据集(Dataset);在每个地理数据集下添加多个地理要素类(FeatureClass),这里的“地理要素类”可以理解为通常意义上的“图层(Layer)”;最后,在ArcCatalog中按着预先设计的表结构添加相应的字段到对应的属性表中。

这里,数据的“多语义性”通过在属性表中添加相应的字段得以实现。

另外,各专题属性信息按着设计的表结构构建完成后,也可以通过ArcCatalog直接导入到前面所建的地理数据库中。

黄河基本河情信息系统中的所有数据均是在统一数学基础之上采用Geodatabase模型存储的,对应数据源的分类,划分1:100万、1:25万、黄河专题三个地理数据集,每个数据集中创建对应的地理要素类,每个地理要素类对应地理数据集的每个图层,图2为对应的远程地理数据库存储目录树。

图2 基于Geodatabase 的数据存储结构综上所述,所有类型数据(包括空间数据和属性数据)均被导入到一个本地或远程的地理数据库中进行存储,根据比例尺的不同,分成不同的数据集;从图2的目录树中可以看出,各专题属性信息表在地理数据库中与各个地理数据集是并列存储的。

上述过程完成了不同数学基础(包括坐标系统、高程基准、地图投影)、不同比例尺、不同数据格式、不同数据类型(空间数据和属性数据)的多源数据的有效集成。

系统还分别给1:100万和1:25万比例尺的数字线划图(DLG)、数字高程模型(DEM)数据设计了相应的元数据,专题图集中各幅专题图都有一个专题信息元数据表与之对应。

元数据中分别记录了资料名称、主要数据源、数据源生产日期、数据源数据格式、数据生产单位、地图比例尺、坐标系、高程基准、建库日期、生产单位、发布单位等。

从元数据中可以看到地理数据库中各个数据集及属性表的说明信息,包括各个数据的采集建库时间、生产制作单位和地理区间范围,这就解决了多时空数据的集成问题。

为了使得一个系统同时支持不同的空间数据格式、数据共立于具体平台、数据格式不需要公开、随时随地上传、下载更新所需数据,这里采用 “数据互操作模式”将所有的数据存储在数据库服务器上,在数据库服务器上安装Oracle9i,用于对数据库进行删除、添加、恢复、备份等管理操作。

数据建库完成后,通过ArcSDE和ArcCatalog将所有数据导入到Oracle 中进行统一管理。

客户端根据自己的用户权限,借助空间数据库引擎(即ArcSDE)和ArcCatalog,实现数据服务器中数据的上传、下载、浏览、查询等操作。

数据的集成过程如图3的流程图所示:地理数据集专题要素类属性表图3 多源数据集成流程图4 结论GIS的迅速发展和广泛应用导致了地理信息数据多源性的产生,为数据的综合利用和共享带来了很大困难。

随着面向对象数据库技术的成熟, 使用大型的关系数据库管理系统管理海量空间数据成为可能,本研究利用GIS系列软件,对多源数据进行格式转换、统一数学基础和数据库设计后,将处理后的数据以Geodatabase的数据模型进行组织、入库。

在数据库服务器上利用Oracle9i存储、管理地理数据库,通过ArcSDE建立客户端与地理数据库的关联,实现数据的上传、下载、浏览、查询等操作。

研究表明,这种多源数据的处理及管理模 式,既能实现多源数据的有效集成,又能提供对多平台的地理数据服务, 非常适合企业化的GIS数据组织,将会成为未来地理信息系统的发展方向。

参考文献[1] 吴信才等.地理信息系统原理与方法[M].北京:电子工业出版社,2002.[2] 王琴,李建辉.GIS空间多源数据集成模式探讨[J].黄河水利职业技术学院学报,2007,19(1):46-47.[3] 程海军等.GIS 数据格式集成方法的探讨[J].河南理工大学学报,2006,25(1):37-41.[4] 李晓军等.多源空间数据集成技术状况与应用前景研究[J].计算机与现代化,2006,20(5):39-42.[5] 李跃军,张月琴.基于Oracle Spatial 实现多源空间数据集成[J].科技情报开发与经济,2006,16(3):234-236.Research on Technologies to Integrate Multi-source DataHu JIE Gao Qingfang LI Hui WANG Xinfu(Institute of Mapping Information Engineering, YREC, No 60, North Huayuan RoadZhengzhou, China, 450045)Abstract: With the development and widely use of Geographical Information System (GIS), it comes to us more and more kinds of geographical data. Due to various collecting methods and application software, the formats and structures of these geographical data are quite different. As a result, the multi-source geographical data comes into being.This article firstly concludes several representations of multi-source geographical data, and shows the necessity to integrate and share the multi-source geographical data. And then the three necessary conditions (including data, integration software and integration rules) to integrate different data as well as the relationship between them are briefly produced. Finally, taking the Yellow River’s Basic Information System (YRBIS) as an example, the author concretely presents the method and technologies to integrate the multi-source geographical data. Based from analysis of used data sources, the database design project, the prerequisite of integrating various data, is provided. According to the practical demand of YRBIS, the author shows us the key technologies to integrate the multi-source geographical data.The research shows that this method can not only efficiently integrates multi-source data, but also provides geographical data service to various desktops. And it fits data organization of an enterprise GIS very much. It will be the development direction of future GIS.Keywords: Geographical Information System,Multi-source data, data integration, Yellow River’s Basic Information System。

相关主题