第一篇：基于GIS的海量气象数据预处理技术研究论文
摘要：由于气象观测数据种类多，文件存储数目大，一般难以对海量气象数据进行深入的处理，挖掘和分析。该文通过对气象数据类型，文件种类等进行研究，通过建立气象数据库并连接GIS软件进行数据分析，较好的解决了海量数据分析和处理问题。该方法利用编程软件，数据库软件和GIS技术对海量气象数据进行预处理，为海量气象数据分析提供高效、精准的数据存储和管理。并最终将数据库直接连接入强大的分析处理软件ArcGis。经过测试表明，该方法可靠性和可操作性很强，成功实现了对海量气象数据的预处理。
Abstract： Because meteorological observation data has more kinds and large number files to store.Generally，Mass meteorological data is difficult to process，mine and analyze for further.This paper introduces a method of data analysis through the establishment of meteorological database and the connection of GIS software，based on the type of meteorological data，file type and so on.It is better to solve the problems of massive data which should be analysed and processed.This method uses the programming software，database software and GIS technology to preprocess the massive meteorological data.It provides efficient and accurate data storage and management for mass analysis of meteorological data.And finally the database connects directly into the analysis software ArcGIS，which is good at data processing.According to test results，the reliability and maneuverability is very strong，it is successful to achieve the pre-processing of the massive meteorological data.Key words： GIS； Database； Meteorological data； Pretreatment； ArcGis引言
地理信息系统（GIS）作为一门重要的信息技术，近年来在气象气候领域内引起了广泛的关注并得到了初步应用。[1]特别是随着现代气象观探技术的迅速发展，各级气象业务部门可获得的气象数据容量越来越大，海量的气象数据背后隐藏许多重要信息。但是在传统的气象数据库应用系统中，用户无法发现气象数据中存在的某种关系和规则，同时缺乏发现气象数据背后隐藏知识手段，从而出现“数据爆炸而知识贫乏”现象。[2]此外气象数据库系统作为气象信息共享平台的重要管理系统，其体系结构和技术的复杂程度均是前所未有的，需要在集约化和标准化原则下，充分利用成熟的商业数据库技术和大气科学领域的相关技术加以构建。[3]而GIS技术具有很好的数据分析和海量数据支持的能力。本文将GIS引入气象领域，同时GIS在气象领域的应用也是一个新的尝试。利用GIS提高了气象数据管理的可视化程度和人机对话功能。[4] 尝试利用GIS技术为详细分析气象数据的组织结构、表达和处理方法做准备。[5]针对气象数据的存储和处理，目前有很多技术手段包括王杨刚等以面向对象的思想，运用C++技术设计并制作了自动气象站数据处理程序，它可以对22项气象数据进行预处理。[6]吴文玉以ArcGIS Desktop9.3为地理信息系统平台，通过在ArcGIS下与远程气象数据库的连接方法，将数据库数据直接应用到GIS中，实现GIS与气象数据库的数据融合，具有较强的实用性。[7]无论哪种方法对气象数据库系统的建设是气象信息系统（气象信息共享平台）建设的核心和基础。[8]所以最有效的保存和交流使用数据的途径就是应用计算机技术建立数据库系统来归整，管理这些重要气象数据。[9]然后直接连接GIS软件使用GIS技术对气象数据进行处理。因为地理信息系统技术可以将气象数据所具有的空间特征、属性特征及时间特征等特点较好地表现出来，是实现空间数据管理的有效手段。[10]本文通过对气象数据的文件类型，存储格式进行研究后提出了一条采用GIS技术对海量气象数据进行预处理的方法。问题的提出
气象数据一般为多年的观测数据，数据的种类多，观测年限长，数据的存储文本文件多。如中国气象共享网下载的1970-2013年日值气象数据为例，数据时间跨度有44年，826个气象站台，分为7大类数据，超过15000天的观测数据，7000万行的记录数据，4亿多数据单元。数据总量达到5.9G之多。对海量气象数据进行存储，分析，管理和处理成为一个难题。目前的处理方式主要有两种方式：（1）在数据量不大的情况下，对数据进行人工筛选，然后导入Excel中进行处理。（2）根据要求通过编程实现对TXT格式的气象数据的处理。
气象数据的记录文件数量巨大，数据类型众多，文本格式数据的数据单元几乎都是采用空格的方式进行隔离，而Word无法对txt格式数据进行批量处理，Excel只能根据特殊符号或者根据一个空格一个格的形式进行数据导入而且数据的行数有限制也无法满足数据的批量入库和处理；利用编程的方式需要对数据进行大量的预处理，编程工作量较大。对于气象数据的分析往往需要地理信息数据，在现阶段基于GIS的气象数据预处理已经被广泛应用。针对于此，本文提出一种解决问题的思路：首先利用批处理命令处理文本数据，然后建立数据库并利用ArcSDE与ArcGIS相连实现数据的存储为数据分析做准备。解决问题的流程
气象数据是根据数据的类型，日期分批的按照TXT的格式进行存储并利用空格进行单元数据隔离。所以需要先对数据进行合并然后利用文本编辑软件对数据进行批量预处理，再利用MS Sql Server进行批量入库和存储，最后利用ArcSDE进行数据连接，批量接入ArcGIS进行数据处理，分析和挖掘。具体技术路线如图1所示。气象数据处理流程
4.1 数据批量预处理
气象数据是根据数据的类型，日期分批的按照TXT的格式进行存储并利用空格进行单元数据隔离的。所以需要先对数据进行合并然后才能对数据进行批量预处理。此处可利用windows的TXT批量合并命令代码实现，使用下面的代码命令可以使的所在一个文件夹中的所有文本文件合并入一个命名为0.txt的文本文件中，具体代码如下所示。
for % %i in（*.txt）do type %%i>>0.txt
将该命令代码复制进文本文件中并将数据的格式名改为bat。
此处需先将气象数据中的数据按照数据的存储类型比如湿度，温度，气压等进行分批处理分别存储于不同的文件夹中，然后再进行数据合并。这样每一个气象类型中的0.txt文件都会存储着具有相同样式的行数据，便于高精确的批量处理。采用此种方法进行批量合并除了可以很好地进行数据预处理外，更重要的是非常简单高效，不需要任何复杂的编程和进行繁琐的软件操作。
4.2 用宏命令批量处理数据
对数据按照数据类型进行合并处理后，需要对单个数据单元进行精确分离，以便于后面的数据导入。此处可利用宏命令对隔离数据的空格利用逗号进行替换，实现所有数据单元按照逗号形式进行隔离。这样后面的数据入库将会全部按照逗号进行隔离入库，不会出现空格和数据存储的错位。可以大幅提高数据的精确性。
此处可以用 UltraEdit这款代码编辑器对每一个气象数据类型下的0.txt文件进行处理。由于每一个0.txt文件数据量都很大，如果直接利用windows自带的文本编辑器，容易导致编辑器崩溃，且显示格式凌乱不利于处理。其他的文本编辑器或者代码编辑器如 Notepad++，EditPlus等都存在着运行过慢或者数据量过大无法支持的问题。相关文本处理软件处理能力如表1所示：
利用UltraEdit启动宏命令后，利用宏录制下空格被逗号批量代替的过程和逗号被批量清理为一个数据单元一个逗号的过程形成宏命令。利用该命令就可以批量处理所有的0.txt文件实现所有数据的标准化，如图2所示。
数据导入完成后所有的气象数据按照地温、气压、蒸发、降水、湿度、日照、气温七类数据分表存储。可以根据需要对数据进行查询编辑输出需要的数据。由于每一个数据表中都含有对应的站点号、经度、纬度、高程，年、月、日数据。
4.4 数据库中的数据处理
由于气象数据中的经纬度数据值，是按照度分秒直接合并的，数据值不能直接使用，更不能实现对数据的直接操作，需要在数据库中对经纬度数据值进行批量处理，实现数据的标准化操作。
代码实现如下：
EVP蒸发 set X=（经度值/100）+（（经度值%100）/（60+0.0））
注：EVP蒸发为数据库中的表，X为处理完成后所赋值的经度值，经度值代表数据库中EVP蒸发的非正常显示经度数据值。
代码运行后，所获得的数据值，完全可以达到数据的操作要求。
4.5 利用ArcSDE连接气象数据库
ArcSDE是ArcGIS与关系数据库之间的GIS通道，它允许用户在多种数据管理系统中管理地理信息，并使所有的ArcGIS应用程序都能够使用这些数据。ArcSDE可以支持MS sql server，DBM，Oracle数据库。ArcSDE是一种数据连接方式，数据不需要经过繁杂的数据导入过程，而且可以保证数据的完整性。
打开ArcToolbox工具，选择数据管理工具-地理数据库管理-创建企业级地理数据库即可。为了连接已经建立的气象数据库我们在创建企业级数据库时，必须保证企业级地理数据库的实例名和数据名与气象数据库一致。
数据库连接完毕，在ArcGis中便可直接查看到气象数据库中的信息，可以直接进行数据挖掘和相关操作。结束语
本文介绍了一种基于GIS的海量气象数据预处理方法。该方法直接实现了海量气象数据的分类入库和管理，解决了一般软件由于数据支持能力限制而无法对海量气象数据进行存储和分析的问题，该方法不需要进行复杂的编程、数据精确度高、数据更新方便和可操作性强，节约了编程开发的时间和成本。该方法解决了海量气象数据下的部分数据挖掘和数据分析的问题，为气象数据基于地理信息的空间化分析提供了数据准备。
参考文献：
[1] 吴焕萍.GIS技术在气象领域中的应用[J].气象，2010（3）：90-100.[2] 李集明，王国复.气象数据库系统总体设计综述[J].气象科技，2007（S1）：1-5.[3] 张波.数据挖掘在气象中的应用研究与实现[D].电子科技大学，2013.[4] 李江南.GIS在气象数据处理中的应用[J].广东气象，2002（4）：14-15+9.[5] 何永健，曹芸，黄勇.GIS气象数据的管理与表达方法[J].南京信息工程大学学报：自然科学版，2011（3）：232-237.[6] 王杨刚，赵文吉，宫辉力.自动气象站数据预处理研究[J].首都师范大学学报：自然科学版，2006（2）：81-84.[7] 吴文玉，杨太明，何彬方.GIS与气象数据库的数据融合应用[C]//安徽省气象学会.第三届安徽科技论坛农业与气候生态学术研讨会论文集.安徽省气象学会，2004：3.[8] 赵芳.气象数据库系统的建设[C]//信息技术在气象领域的开发应用论文集（二），2006：5.
第二篇：多源异构气象区域站数据集成技术研究
多源异构气象区域站数据集成技术研究
摘要：针对大量多源异构气象区域自动站数据在集成、监控方面的困难，结合区域自动站数据特征，建立数据映射关系、基于Wabacus开源框架、Java、数据库等技术，开发了一套“多源异构气象区域站数据集成系统”。实现了多源异构区域站数据在监控平台上的无缝集成，为多源异构区域站数据集成方法提供了新的思路，有效解决了多源异构数据难以在同一平台上进行统一监控的问题。该项技术研究成果应用于“福建省气象区域站数据集中监控系统”中，取得了较好的效果。
关键词：气象区域站；多源异构；数据集成；Wabacus
中图分类号：P208；TP338.6 文献标识码：A 文章编号：1007-9416（2017）04-0064-03
前言
随着现代气象综合观测业务的快速发展，全省综合观测种类众多。存在每个观测项目均使用独立的中心站软件收集数据的问题。由于引进的设备厂商和仪器型号参差不齐，因而获取到的区域自动站数据结构也各不相同，又都部署在不同的服务器上，所采用的数据库也不统一[1]，导致各个中心站的数据相互独立，难以兼容，这些多源异构的数据构成一个复杂而且庞大的数据源，监控人员只能在每个中心站软件中进行实时的监控[2，3]，无法在同一个平台中对区域站数据进行统一的监控和管理，很大程度上增加了数据监控压力。因为中心站软件都部署在省级信息中心，给市县级台站信息保障人员日常维护管理也造成了不小的困扰，市县级信保人员无法及时掌握区域站在线状态和数据要素是否异常等状态，特别在现场维修时需要多次通过电话询问省级值班员，降低了工作效率，也增加了省级值班员工作压力。因此，多源异构气象区域站数据如何实时、快速有效的集成成为一个急需解决的问题。区域站数据特征分析
福建省区域自动站目前总共部署了2000多个站，每个区域站都上传整点数据和分钟数据，从宏观上看，区域站数据具有“多源”、“异构”、“量大”等特征[4]。
2.1 多源
多源，指的是多个数据源。福建省区域站设备型号很多（如ZQZ_A、ZQZ_B、WUSH-RG、DZZ4、CAWS600、HYA-M等），参差不齐，多由不同的厂商提供，使用的中心站软件也不同，因而得到的数据都分散在不同的数据库中[5]，而且数据库类型也不一样（如MySQL，SqlServer，Oracle），这就导致了区域站数据的多源性。想要集成这些数据，必须对各类型的数据库开发相应的访问接口。
2.2 异构
异构，指的是数据库结构不统一。由于缺乏行业数据规范，数据库结构多由各个厂商自行定义，加上软件开发人员的水平和对气象监测领域的不熟悉，使得设计出来的数据库库表结构、数据类型都不一样，给数据集成带来了很大的困难。系统关键技术
3.1 Web网页监控
Web网页监控利用Wabacus开源框架、Jsp网页和Java技?g。Wabacus框架是一个JAVA开发框架，而不是纯客户端框架，可以完成SSH框架的功能，它可以与任意框架（比如SSH框架）在同一项目中共存，采用面向声明的编程思想，极少编辑就可以实现复杂的数据展示、数据编辑、表单等功能。它支持热部署，高灵活性，高扩展性，支持IE、Firefox、Chrome、Opera等多种浏览器。
3.2 多数据库支持
Wabacus框架支持Oracle、SqlServer、MySql、DB2数据库多个类型的数据库。通过标签，可配置多个数据源，每个数据源配置一个子标签。
3.3 异构数据处理
对于异构数据的集成，需要把不同数据库（或者相同数据库）中不同表结构的数据提取出来，再插入到新建的总表中。由于存在表列名定义和列数量不同，为此，我们需要建立一个数据映射关系来统一数据结构。结合气象区域站数据的特征，在监控服务器上建立了一个总表，总表由所有区域站数据要素来定义。这个插入过程由系统后台服务定时完成。
3.4 定时采集服务
在后台设计JAVA定时器，定时收集多个中心站数据库里的区域自动站数据。区域自动站仪器不断上传采集到的数据，要求入库系统必须稳定运行，一旦停止运行或者出现故障，肯定会导致监控数据的延迟、丢失，出现误告警的情况。因此，我们对这个服务进行“升级”，即使服务挂掉，也能通过网页告警方式通知值班员，处理方式也很简单，启动服务就可以自动补调丢失的数据。系统实现
4.1 总体架构
多源异构气象区域站数据集成系统是基于面向服务的架构体系，使用Wabacus开源框架，Java技术，JSP网页技术，结合多种数据库开发技术开发完成的。采用MVC三层架构、数据映射、转换等技术设计开发中间件，不需要更改原始的数据格式或者存储，只需要修改相应的配置文件就可以实现数据集成。
4.2 系统设计流程
多源异构气象区域站数据集成系统设计流程如图1所示，通过Java定时任务对多个数据源数据进行提取，得到的数据经过中间件进行数据的映射转换操作，得到统一的数据格式的结果集，最后由入库程序进行入库操作。
系统的核心部分是中间件的设计，中间件的作用是起到统一数据格式的作用。向上为多源数据库提供数据标准和接口，向下为集成平台数据库提供统一格式的数据，从而完成多源异构数据的集成。各数据源独立运行，互不干扰，中间件只负责数据格式的转换。
中间件从定时采集程序获得原始数据，并不能直接进行入库操作，必须对数据格式进行转换。如果源数据表和目标表结构相同，则中间件不处理，直接转到结果集；如果源数据表和目标表的字段名不同，则需要对字段名进行映射，映射的方法是利用SQL语句对结果集进行字段的映射。
Web网页监控利用Wabacus开源框架、Jsp网页和Java技术，实现全省区域站数据监控，网页具有定时刷新，报表导出，收报率统计，声音告警等各种功能。由于区域站要素的不同，不可能用一张XML网页模版去显示每个站的要素，因此需要配置站点对应的XML网页[6]。
数据库端设计遵循SQL语言规范，利用SQL语句优化技术（比如建立存储过程和数据库表索引等），快速查询各中心站数据库信息。
4.3 系统功能
该项技术研究成果应用于福建省气象区域站数据集中监控系统，系统首页如图2所示。首页是将福建省全省的区域站按照分地市监控起来了，页面定时2分钟自动刷新，当某个地市的区域站在线率小于85%（阈值可根据需要设置）时，页面就会通过声音、滚屏等方式对故障地区进行告警，省一级值班人员就可以快速响应处理，从而提升数据的时效性。
以福州地区为例，市级监控首页如图3所示。市级关心的是本市区域站的运行情况，因此这里把该地区所有的区域站都集中在一个页面上监控，页面也是定时2分钟自动刷新。当有站点故障没数据时，系统会对故障点进行滚屏和声音告警，提醒市级值班员处理。要是某些站点的确故障了，一时恢复不过来，可以将站点监控状态设为故障，这样系统就不会对故障站点进行报警了。结语
随着现代气象综合观测业务的快速发展，全省综合观测种类越来越多，必须对多个数据源的数据进行无缝集成，实现数据监控统一化。福建省区域站数据集中监控系统已投入运行半年多时间，运行稳定，为业?展芾砣嗽薄⑹屑缎疟Ｖ行囊约疤ㄕ救嗽碧峁┦凳比?省区域自动站数据监控，包括站点的在线状态、最新到报时间、在线率和收报率统计等，并具备监控报警功能，不但可以做到快速响应，进而提升站点数据时效性，也很大程度上减轻了值班员的监控压力。
通过该系统，可快捷查询全省区域自动站整体的运行情况，业务保障人员通过该系统发出的站点离线告警，可以做到及时响应、排查、处理；通过系统的统计分析报表功能，对管理部门今后判断自动站的运行状态也具有一定的参考价值。
参考文献
[1]陈巍，刘艺雯.异构数据库数据迁移测试软件的研究与实现[J].安徽工程科技学院学报，2010，25（4）：35-39.[2]李军怀，周明全，耿国华，等.XML在异构数据集成中的应用研究[J].计算机应用，2002，22（9）：10-12.[3]陈骞，罗智佳，毛宗源.基于C/S和B/S混合结构的数据采集与整合系统[J].计算机应用研究，2006，（7）：188-190.[4]张峰.基于多源异构勘察数据的工程勘察信息系统的设计与实现[J].测绘通报，2013，（1）：87-89.[5]何朝阳，巨能攀，黄健.基于Web-GIS的公路边坡安全管理系统研究[J].地质灾害与环境保护，2012，23（1）：91-95.[6]王智军.基于XML的异构数据集成研究[J].赤峰学院学报：自然科学版，2010，26（3）：19-21.
第三篇：网络安全数据可视化技术研究分析论文
摘要：自从计算机技术的不断发展，人们逐渐感受到网络给人们的日常生活带来的便利，同时也逐渐变得愈加依赖网络。但是，随之而来的网络安全问题也日渐突出，开始成为不得不防范和处理的重大难题。网络的安全建设管理决定着人们的网上隐私和个人电脑信息安全，一旦个人网上信息泄漏，那么不但会造成个人隐私权受到侵害，甚至还会给企业和国家带来巨大的损失，所以强化网络安全管理建设十分重要，而网络安全数据可视化技术正是科研者们针对网络安全问题而研发的防护技术，对提升人们的网络安全提供了重要的帮助。
关键词：网络安全数据；可视化；研究
伴随着科技发展速度的持续加快，人们社会生产生活的各个领域都开始广泛的应用计算机网络技术。计算机信息技术具有广泛、开放、联结的特点，给我们的生活带来了便利，因此也在信息传输的私密性和质量方面隐藏着许多安全问题。信息安全问题不容小觑，小则个人用户隐私泄露，大则国家机密失窃。基于此，研究计算机网络信息与安全的防护策略于国于民都具有相当重大的意义。当前网络安全数据可视化技术则是重要的网络安全防护手段，研究这一技术对于人们的网络安全而言具有重要的意义。
1网络安全可视化的重要性
网络安全这一概念的形成在国内的历史并不长，是最近几年人们才开始逐渐意识到的问题。这是因为国内的计算机网络技术的发展起步较晚，虽然发展迅速，但是人们主要将重点集中在网络技术的研发上，而网络安全方面则常常处于被忽略的地位。但是随着网络安全案件的频繁发生，使得人们使用网络的安全性受到严重影响，而且网上办公的逐渐普及，一旦网络安全得不到保障，就会使得国民经济严重受损。正因如此，国内开始逐渐加强对网络安全防护技术的重视。以往的网络安全技术由于其日志信息的可视化因为自身性质而存在一定的局限，并且时效性太差，日志信息上传的过程需要耗费的时间太长，不能满足当前以高效率、快速度为特征的网络要求。并且，还存在一些较为实际的问题，在检测的过程中，日志信息可能会出现变化，这样一来检测结果的精确度就会大大降低。此外，数据分析人员在研究日志数据时，也存在一些问题。例如，管理部门传输的警报信号过多，导致管理人员的工作量极大，若是使用旧式的网络安全技术就会不能及时全面的解决和处理警报问题，导致网络安全得不到保障。因为以前的网络安全技术存在上述种种缺陷，所以为了提升网络的安全性，一些技术人员研究发现了一种以数据流为基础的网络可视化的安全防护方法，这一技术能够实现对网络流量的24小时监控，从而使网络数据的安全变得可视化。网络安全数据可视化技术的原理在于将可视化技术连同网络安全态势二者进行合理融合，从而能够更加高效的提升网络外部环境的可靠性以及安全性。
2网络安全数据可视化技术
网络安全可视化是一类新式的计算机可视化技术，主要是使用人类视觉对结构以及模型的信息提取功能，把较为抽象难懂的网络信息数据使用图像的方式进行表现，为网络信息分析人员提供帮助，使得分析人员能够更加便捷的判断网络中是否存在异常状况，在有危险因素入侵网络时能够及时发现并处理，同时还具有一定的网络安全事故预测能力。其关键应用范围如下：
2.1科学计算可视化
这一应用最初是由美国的一位专家所提出，当前在计算机的图形领域得到了很好的应用。科学计算可视化的理论基础为将规模较大的数据转变成为能够被人更加容易理解、更加具有直观性的图形或者图像，这一信息表现方式可以使人们能够更加直接的理解一些较为复杂的现象。并且，还具有计算以及模拟的视觉交互功能，操作起来简单便捷，并有着高效的网络安全防护能力。在计算机技术的持续发展背景下，这一技术具有广阔的应用前景，将来计算机图形学一定能够得到更好的发展，而科学计算可视化技术也将得到更好的完善。
2.2信息可视化
信息可视化与人们平日的生产生活活动具有重要的联系，对于网络安全数据可视化而言具有十分重要的地位。计算机科学技术的发展，促进了信息可视化技术的提升，同时也是当前计算机技术领域内的重点研究对象。计算机可视化即指使用计算机技术将内容结构十分复杂难懂的信息进行简化，使其能够用一种更加直观的方式表现处理，信息可视化技术是由多种学科知识的综合所得。由于当前网络信息呈现爆发式增长的状态，造成信息的数量愈来愈庞大，复杂的、多余的信息使得人们甄选出的想要信息的效率越来越低，造成严重的信息危机。但是信息可视化的使用能够有效的处理上述问题，因为其具有能够将复杂的信息转变成直观、易懂的信息，从而降低了人们获取信息的难度，给人们的信息处理和查找带来了便利。
2.3数据挖掘和可视化
数据挖掘可视化即在海量的数据中搜寻获得时效性好、潜能强且有效的信息。使用数据挖掘技术来获取信息主要依照下述步骤：数据管理、数据存储、数据分析、数据转换、数据挖掘、价值评价、数据显示。其在搜寻数据的同时能够与知识库以及使用者之间进行互动，从而使其获得数据更加具有正对性。数据可视化技术能够使用分析和观察数据表格的方式来获取想要的信息，能够更加全面的分析数据的内在含义，从而据此准确发现网络中存在的异常状况。数据可视化的使用能够使使用者更加直接的了解数据信息，同时分析数据的功能也比较强大，从而使用户获得更好的使用体验。
2.4安全数据可视化
网络安全数据的可视化的原理与信息可视化类似，都是通过将海量、复杂的信息使用简单、易懂的图像形式表达出来，再安排专门的技术分析人员使用评价、分析、交互的方式对这些数据进行处理，从中获取数据中含有的网络安全信息，以此达成网络安全数据的可视化处理，使得网络安全得到保障。
3网络安全可视化的措施
使用网络安全数据可视化技术能够使得网络安全程度得到提升，从而减少网络信息泄漏、网络攻击等事件的发生。当前，国内的网络安全形式并不乐观，时常出现网络病毒扩散、端口扫描、服务器被攻击等安全事故，这时网络数据流量会显示异常。所以，可以对网络流量进行实时监控，这样能够更好的防范网络安全，实现网络安全的最大化。用户在使用网络时可能会遇到网络电脑高手，电脑高手若是发动网络袭击，就会使得用户的私人信息被窃取。而对于企业公司而言，网络上存有公司的许多机密文件和信息，一旦被窃取或者因网络袭击而丢失都会给自身带来严重的经济损失。由此可见，电脑高手的存在使得网络的安全性降低，恶化了网络环境，对于网络的安全使用带来了严重的威胁。因此，网络技术安全防护人员需要寻找解决方法，阻止电脑高手的恶意行为，从而使得用户的网络安全得到保护，避免人们的隐私权受到侵害。技术人员通常会使用入侵系统对网络环境进行分析和探究，判断其中是否存在病毒或者漏洞，然后将获得的信息传递至分析人员，分析人员依照这些信息数据对网络系统进行病毒库升级和漏洞修复，从而使得网络安全得到提升，使网络安全数据可视化进一步加强。
4结束语
社会信息化发展已是大势所趋，网络安全防护日益重要。只有在保证网络安全的情况下，信息化社会才能更好更稳健更长远的发展。因此我们应加大对网络安全防护的重视，在日常生活中加强网络安全防护意识，积极采取防范措施，减少漏洞的产生，更加良好的了解和应用网络安全数据可视化，并对这一技术进行不断的优化和改进，从而避免潜在危险影响到人们的网络安全，使人们的权益得到更加全面的保护。
参考文献
[1]赵颖,樊晓平,周芳芳等.网络安全数据可视化综述[J].计算机辅助设计与图形学学报,2014(05):687-697.[2]张胜,施荣华,赵颖.基于多元异构网络安全数据可视化融合分析方法[J].计算机应用,2015(05):1379-1384+1416.[3]刘鹏,孟炎,吴艳艳.大规模网络安全态势感知及预测[J].计算机安全,2013,03(15):28-35.[4]陶广.网络安全数据可视化研究综述[J].信息与电脑(理论版),2015(08):75-76.[5]赵立军,张健.基于堆叠条形图和平行坐标的网络数据安全可视化分析方法研究[J]．装备学院学报,2015(05):86-90.
第四篇：自动气象站下的软件技术研究论文
1自动气象站常用软件的应用
(1)数据要素监控程序应用主要是利用对自动气象站分钟数据文件进行实时监测,然后由工作人员依据数据判断是否发送报警信息。应用软件程序在应用中发现问题,立即通过读取站号、短信告警手机号码、短信数据库IP地址等信息,并进行检查当日分钟数据文件是否存在,如果所检测若文件不存在,程序就会立即发送短信告警。一般情况下软件都会按照要素位长及排位顺序规则将数据记录中的日期、风、温、压、湿、地温、能见度等要素分离出来,然后根据程序需要对数据进行判断,如果发现出现缺测及超出阀值等,在满足系统报警条件的情况下,系统程序就会发送短信报警。并及时将运行情况记入运行日志后退出。
(2)网络传输监控程序应用中会对自动气象站所在的网络环境和自动站文件上传情况进行监控。该程序每五分钟运行一次。应用软件技术在应用中会对自动气象站终端微机、局域网交换机、路由器、文件接收服务器等进行有效测试,看是否设备运行正常。如果检测发现故障,系统软件会立即将详细故障信息发送短信告警。最后,将运行情况记入运行日志,程序退出。
(3)数据要素监控程序在应用时,会依据系统记录号公式选择当前记录并完成要素进行分离,然后对分离要素数据执行判断,根据规划规定,当正常观测要素位置出现“----”或者“////”时,就表明系统数据缺测,当超出阈值时,则表明数据失效,系统会针对这两种情况进行发送短信报警。
(4)主控机以WINDOWS作为操作平台,控制软件应用多为实时多任务方式,系统处理功能包含了目前台站的所有业务工作并实现了自动化。系统在应用中还增加了许多适应未来发展需求的扩展功能及气象服务功能。软件技术在应用时会实时进行采集控制,数据的最终计算处理、参数的修正、质量控制、报文编辑、数据存贮、数据显示,故障诊断等等,从而有效的检测系统的应用情况,以及及时进行故障报警。
2软件的维护
(1)采集器系统是在器材出厂前就安装好在单片机内,相对而言,系统的日常维护比较简单,一般情况下,平时只需要对采集器内部存在存储器进行检测维护就行,在维护时只要把因为长期运行而产生的电子碎片定期清空,避免采集器出现数据无法读取等错误就行。
(2)通讯组网接口软件中的“网络主通道”不可能一直为绿色,在重启软件后为红色是正常情况,只有传输正常后变为绿色,以后有两种情况:第一是一直保持为绿色,表示网络一直为连接;另一种是变成红色,也是正常情况,表示在空闲状态下,网络暂时中断,只要在传输时能够连接也可视为正常。
(3)对于地面气象测报业务软件的维护,则需要工作人员进行经常检查,看其运行时,系统的各项参数设置是否准确,是否需要及时地更新和下载升级及补丁程序,避免软件升级不及时或出现漏洞;在检测时一般要做好网络无法连接应对工作,应用中要注意在电脑上设置好拨号网络,如果在出现紧急情况,无法使用光纤时,要紧急地采用电话拨号上网的方式保证自动站观测数据及时传送。
(4)系统实时监测新型自动气象站分钟数据文件,软件通过检测数据文件判断自动气象站及自动站终端微机的观测业务程序是否发生故障,通过检测数据文件中的各要素数据是否缺测以及是否超出阀值,从而进行判断采集器、相应传感器及线缆是否存在故障;通过监测自动站网络环境判断报文发送过程中经过的重要节点如自动站终端微机、局域网网络交换机、路由器以及省局报文接收服务器是否出现故障。经过检测,软件检测出故障后,立即以信息的方式报警,并发送给观测员,帮助他们快速的排除故障。
3结语
综上所述,虽然在软件应用上取得了一些成绩,但自动气象站在应用运行期间,会因为人工资料输入、日常维护及故障处理、软件重装等过程操作不当,或维护不及时,在运行中出现这样或那样的问题,仍然需要及时维护,以便保证自动站数据的实时性及准确性。
第五篇：浅析GIS多源数据集成模式论文
[摘要] 地理信息系统的迅速发展和广泛应用导致了空间数据多源性的产生，为数据综合利用和数据共享带来不便。本文探讨空间数据多源性的产生和表现，指出多数据格式是多源空间数据集成的瓶颈；分析和评价了多源空间数据集成的三种模式，并展望了多源数据集成的发展方向。
一、多数据格式是多源空间数据集成的瓶颈
1、空间数据多源性的产生和表现
空间数据多源性的产生和表现主要可以概括为以下几个层次：
（1）多语义性
地理信息指的是地理系统中各种信息，由于地理系统的研究对象的多种类特点决定了地理信息的多语义性。对于同一个地理信息单元（feature），在现实世界中其几何特征是一致的，但是却对应着多种语义，如地理位置、海拔高度、气候、地貌、土壤等自然地理特征；同时也包括经济社会信息，如行政区界限、人口、产量等。一个GIS研究的决不会是一个孤立的地理语义，但不同系统解决问题的侧重点也有所不同，因而会存在语义分异问题。
（2）多时空性和多尺度
GIS数据具有很强的时空特性。一个GIS系统中的数据源既有同一时间不同空间的数据系列；也有同一空间不同时间序列的数据。不仅如此，GIS会根据系统需要而采用不同尺度对地理空间进行表达，不同的观察尺度具有不同的比例尺和不同的精度。GIS数据集成包括不同时空和不同尺度数据源的集成。
（3）获取手段多源性
获取地理空间的数据的方法有多种多样，包括来自现有系统、图表、遥感手段、GPS手段、统计调查、实地勘测等。这些不同手段获得的数据其存储格式及提取和处理手段都各不相同。
（4）存储格式多源性
GIS数据不仅表达空间实体（真实体或者虚拟实体）的位置和几何形状，同时也记录空间实体对应的属性，这就决定了GIS数据源包含有图形数据（又称空间数据）和属性数据两部分。图形数据又可以分为栅格格式和矢量格式两类。传统的GIS一般将属性数据放在关系数据库中，而将图形数据存放在专门的图形文件中。不同的GIS软件采取不同的文件存储格式。
2、多源空间数据集成的迫切性
随着Internet网络的飞速发展和普及，信息共享已经成为一种必然的要求。地理信息也不例外，随着信息技术以及GIS自身的发展，GIS已经从纯粹地学技术系统的圈子跳了出来，正和IT行业完全融合，人们对空间信息的需求也越来越多。GIS要进一步发展，必须完全融入大型MIS（管理信息系统）中。1998年美国副总统戈尔提出数字地球的概念，更是将地理信息技术推到了最前沿。然而地理信息要真正实现共享，必须解决地理信息数据多格式、多数据库集成等瓶颈问题。随着技术发展，GIS已经逐步走向完全以纯关系数据存储和管理空间数据的发展道路，这为GIS完全和MIS无缝集成迈出了重要的一步。但因为GIS处理的数据对象是空间对象，有很强的时空特性，获取数据的手段也复杂多样，这就形成多种格式的原始数据，再加上GIS应用系统很长一段时间处于以具体项目为中心孤立发展状态中，很多GIS软件都有自己的数据格式，这使得GIS的数据共享问题变得尤为突出。
空间数据作为数据类型的一种，同普通数据一样需要走过从分散到统一的过程。在计算机的发展过程中，先是数据去适应系统，每一个系统都为倾向于拥有自己的数据格式；随着数据量的增多，数据库系统应运而生；随着时代的发展，信息共享的需求越来越多，不同数据库之间的数据交换成了瓶颈；SQL（标准结构化查询语言）以及ODBC的出现为这一难题提供了比较满意的解决方案。但是空间数据如何引进这种思想，或者说将空间数据也纳进标准组织和标准协议进行规范和管理，从而使空间数据共享成为现实。
二、GIS多源数据集成模式比较
由于地理信息系统的图形数据格式各异，给信息共享带来了极大的不便，解决多格式数据源集成一直是近年来GIS应用系统开发中需要解决的重要问题。目前，实现多源数据集成的方式大致有三种，即：数据格式转换模式、数据互操作模式、直接数据访问模式。、数据格式转换模式
格式转换模式是传统GIS 数据集成方法（图1）。在这种模式下，其他数据格式经专门的数据转换程序进行格式转换后，复制到当前系统中的数据库或文件中。这是目前GIS系统数据集成的主要办法。目前得到公认的几种重要的空间数据格式有：ESRI公司的Arc/Info Coverage、ArcShape Files、E00格式；AutoDesk的DXF格式和DWG格式；MapInfo的MIF格式；Intergraph的dgn格式等等。数据转换模式主要存在的问题是：
（1）由于缺乏对空间对象统一的描述方法，从而使得不同数据格式描述空间对象时采用的数据模型不同，因而转换后不能完全准确表达源数据的信息。
（2）这种模式需要将数据统一起来，违背了数据分布和独立性的原则；如果数据来源是多个代理或企业单位，这种方法需要所有权的转让等问题。美国国家空间数据协会（NSDI）确定制定了统一的空间数据格式规范SDTS（Spatial Data Transformation Standard），包括几何坐标、投影、拓扑关系、属性数据、数据字典，也包括栅格格式和矢量格式等不同的空间数据格式的转换标准。许多软件利用SDTS提供了标准的空间数据交换格式。目前，ESRI在ARC/INFO中提供了SDTSIMPORT以及SDTSEXPORT模块，Intergraph公司在MGE产品系列中也支持SDTS矢量格式。SDTS在一定程度上解决了不同数据格式之间缺乏统一的空间对象描述基础的问题。但SDTS目前还很不完善，还不能完全概括空间对象的不同描述方法，并且还不能统一为各个层次以及从不同应用领域为空间数据转换提供统一的标准；并且SDTS没有为数据的集中和分布式处理提供解决方案，所有的数据仍需要经过格式转换复制到系统中，不能自动同步更新。、数据互操作模式
数据互操作模式是OpenGIS consortium(OGC)制定的规范。OGC是为了发展开放式地理数据系统、研究地学空间信息标准化以及处理方法的一个非盈利组织。GIS互操作是指在异构数据库和分布计算的情况下，GIS用户在相互理解的基础上，能透明地获取所需的信息。OGC为数据互操作制定了统一的规范，从而使得一个系统同时支持不同的空间数据格式成为可能。根据OGC颁布的规范，可以把提供数据源的软件称为数据服务器（Data Servers），把使用数据的软件称为数据客户（Data Clients），数据客户使用某种数据的过程就是发出数据请求，由数据服务器提供服务的过程，其最终目的是使数据客户能读取任意数据服务器提供的空间数据。OGC规范基于OMG的CORBA、Microsoft的OLE/COM以及SQL等，为实现不同平台间服务器和客户端之间数据请求和服务提供了统一的协议。OGC规范正得到OMG和ISO的承认，从而逐渐成为一种国际标准，将被越来越多的GIS软件以及研究者所接受和采纳。目前，还没有商业化GIS软件完全支持这一规范。数据互操作为多源数据集成提供了崭新的思路和规范。它将GIS带入了开放式的时代，从而为空间数据集中式管理和分布存储与共享提供了操作的依据。OGC标准将计算机软件领域的非空间数据处理标准成功地应用到空间数据上。但是OGC标准更多考虑到采用了OpenGIS协议的空间数据服务软件和空间数据客户软件，对于那些历史存在的大量非OpenGIS标准的空间数据格式的处理办法还缺乏标准的规范。而从目前来看，非OpenGIS标准的空间数据格式仍然占据已有数据的主体。
数据互操作规范为多源数据集成带来了新的模式，但这一模式在应用中存在一定局限性：首先，为真正实现各种格式数据之间的互操作，需要每个每种格式的宿主软件都按照着统一的规范实现数据访问接口，在一定时期内还不现实；其次，一个软
件访问其他软件的数据格式时是通过数据服务器实现的，这个数据服务器实际上就是被访问数据格式的宿主软件，也就是说，用户必须同时拥有这两个GIS软件，并且同时运行，才能完成数据互操作过程。
3、直接数据访问模式
顾名思义，直接数据访问指在一个GIS软件中实现对其他软件数据格式的直接访问，用户可以使用单个GIS软件存取多种数据格式。直接数据访问不仅避免了繁的数据转换，而且在一个GIS软件中访问某种软件的数据格式不要求用户拥有该数据格式的宿主软件，更不需要该软件运行。直接数据访问提供了一种更为经济实用的多源数据集成模式。
目前使用直接数据访问模式实现多源数据集成的GIS软件主要有两个，即： Intergraph 推出的GeoMedia系列软件和中国科学院地理信息产业发展中心研制的SuperMap。GeoMedia实现了对大多数GIS/CAD软件数据格式的直接访问，包括：MGE、Arc/Info、Frame、Oracle Spatial、SQL Server、Access MDB等(图2)。SuperMap 2.0则提供了存取SQL Server、Oracle Spatial、ESRI SDE、Access MDB、SuperMap SDB文件等的能力，在以后的版本中将逐步支持对Arc/Info Coverage、AutoCAD DWG、MicroStation DGN、ArcView等数据格式的直接访问。
三、多源空间数据格式集成的展望、文件方式和数据库方式
传统的空间数据往往采用文件方式，随着技术的进步，逐渐将属性数据移植到数据库平台上；随着技术发展，图形数据也可以和属性数据一起存放在关系数据库中。文件方式对数据管理安全性较差，存在着属性和图形分开管理的问题，不适合网络共享发展的需要；数据库方式则实现了空间数据和属性数据一体化存储和管理，便于开发两层、三层甚至多层网络应用系统。从发展趋势来看，纯关系数据库方案取代文件方案是发展的必然趋势，这也是IT发展的主流趋势。随着对信息量需求的增大以及信息需求种类增多，数据仓库的建立，将是GIS文件系统向数据库系统发展的主流。、OpenGIS、SDTS与DLG/F
OpenGIS是目前的主流标准，但SDTS并不会停滞不前，相反笔者认为SDTS将会与OpenGIS走向一体化。SDTS 可以为OpenGIS提供一个转换和存取空间数据的标准，该标准是不依赖任何一种特定GIS软件格式的，该标准中利用头文件描述格式的方式使得数据服务者不必专门提供格式说明，而数据客户也不必专门学习该格式，只需读取SDTS头文件就可获得数据服务者提供的数据格式。笔者认为利用SDTS做数据标准，利用OGC作数据互操作的标准（例如空间SQL标准），简单地说就是如果说SDTS提供了数据格式的头文件，而OGC标准则提供了读写这个头文件的标准方法。如果再采用数据库作后台，利用空间数据引擎，空间数据引擎按照SDTS存取空间数据，按照OGC标准对客户软件提供操作接口，这将是空间数据集成的理想解决方案。USGS还提供了一种称作DLG/F的标准，该标准设计了空间数据在数据库中的动态存储结构，利用该结构可以将拓扑关系动态记录下来，同时可以让用户添加自定义的空间数据类型。怎样利用DLG/F完善SDTS和OpenGIS也将是OpenGIS以及SDTS发展的方向。、统一空间实体编码
多源空间数据据格式集成还有一个很重要的方面就是如何处理不同数据库对空间实体采用的编码方式不同的问题。从理论上来说，一个系统对同一空间实体的编码应该是唯一的，实际上由于不同领域从不同视角对同一空间实体编码并不一样，甚至会出现不同空间实体具有相同编码的情况，这些编码放在同一系统中，就会出现空间实体标识的严重问题。从目前来看，OpenGIS和SDTS都是基于地理特征（Feature）定义空间实体的，但都还不能真正提供一个通用的空间实体编码体系。
参考文献
１.On spatial database integration, Thomas Devogele ,Geographical Information Science, 1998,12(4)
２.Issues and prospects for the next generation of the spatial data transfer standard(SDTS), DAVID ARCTUR, DAVID HAIR,GEORGE TIMSON, etc, Geographical Information Science, 1998,12(4)
３.Towards integrated geographic information processing，DAVID J.ABEL, BENG CHIN COOI, KIAN-LEE TAN etc, Geographical Information Science, 1998,12(4)
４.A framework for the integration of geographical information systems and modelbase management , DAVID A.BENNETT, Geographical Information Science, 1997,11(4)
５.Overcoming the semantic and other barriers to GIS interoperability , YASER BISHR, Geographical Information Science, 1998,12(4)
鲁公网安备37028302000876号