当前位置:
文档之家› 基于C#的服务器日志分析系统的设计与实现-毕业论文
基于C#的服务器日志分析系统的设计与实现-毕业论文
2016年7月始,实习于神州数码系统集成服务有限公司,该公司旗下品牌《锐行服务》作为国内最大的第三方维护商,为众多公司服务器运维提供复杂的技术解决方案。实习期间,在国家税务总局、中国外运长航集团的数据中心迁移中参与完成3000余台设备迁移。
在服务器主机系统迁移中,主要由p2v、v2p两项构成。其中,必须先对服务器信息进行调研,才能够进行迁移方案的规划。在此过程中,任何一项信息调研出错都有可能导致迁移不成功。面对两千余台服务器,单一服务器信息调研数量20余条的巨大工作量,我们花费了大量的时间以及人力完成此工作,而调研自动化便成为我们工作中的迫切需求。
随着软硬件技术的不断发展,以及现实环境的利好,多数IDC管理中心均选择进行IDC迁建。而在此过程中,设计IDC大量网络、存储、服务器、交换机等物理迁移。而今年来集群化以及虚拟化已然形成趋势,在IDC系统迁移过程中又会涉及到大量p2v/v2p迁移。
(1)
图1迁移主体业务流程
(2)
图2迁移框架
(二)
本系统着重对基础调研阶段中服务器信息调研自动化进行研究以及设计,研究内容主要包含:系统信息提取自动化,shell脚本化以提高调研安全系数,日志分析处理自动化,ExcelOA智能化。
1.
Linux系统是一个基于UNIX内核的多任务、多用户、支持多线程和多CPU的操作系统。硬件上能够同时支持32位以及64位设备。具有免费。稳定。安全、可靠、多平台的特点。
Abstract
With the continuous progress of science and technology and the hardware environment of the iterative update, more and more science and technology enterprises needs of the data center has been aging server replacement, which is what we call the IDC data center migration. And a veteran of the server vendors (HUAWEI, IBM, CISICO, DELL, HP, Lenovo, H3C, etc.) to provide some technical support, to provide customers with the appropriate technical services program. However, the majority of domestic enterprise data centers tend not to use a single company's products, and the major manufacturers of single service costs. In order to solve this situation, third party service operation and maintenance.
At the beginning of July 2016, I practice in DCITS, the company's brand "Ruixing Service" as the largest providers, providing sophisticated technology solutions for many company server. During the internship, I was mainly involved in the StateAdministration of Taxation, Sinotrans Group's data center, to participate in the completion of more than 3000 equipment migration.
题 目:
基于C#的服务器日志分析系统
的设计与实现
学 院:
计算机科学与工程学院
专 业:
计算机科学与技术
班 级:
2013级1班
姓 名:
樊慧波
学 号:
20131303040
指导教师:
祁瑞丽
2017
年
4
月
27
日
作品名称
基于C#的服务器日志分析系统的设计与实现
作者姓名
樊慧波
创作时间
2016.12-2017.5
为提高工作效率,简化工作流程,结合所学知识,针对调研关键环节日志信息读取设计并开发此Log日志分析系统。该系统主要采用基于面向对象的C#开发,能够对log日志进行批量读取、分析,并能按需提取有效信息进行分析、统计,并生成直观、简洁、可进行格式调整的Excel文档。
【关键词】服务器系统日志日志分析调研自动化
第三章提出本文的研究核心:自动化调研系统的设计与实现。说明了本系统的总体结构,并按日志提取、关键字识别、信息摘取、防伪与登录、OA自动化输出进行了详细的分析解读。同时,也通过大量的实例来分析、印证该系统设计的必要性。
第四章对本系统测试进行了分析。
二、
本章着重讲述在系统迁移过程中日志的由来原因以及特点,概括论述系统调研的原理以及常规问题。
相比之下,我们的调研过程繁琐又容易出错,耗时又长,而惠普的调研则极为省时,但其成本也相对昂贵(30万的项目签约)。
1.
从调研时间上看,我司调研耗时要比惠普多出200倍,耗费巨大的人工成本。而从长远角度来看,人工调研远远不如自动化更为高效。
从容错率角度,人工逐条调研由于其操作流程以及每个人状态,极有可能出现细微的错误,而任何一线细微之错均有可能导致灾难性的系统故障。而惠普的调研方案由于其省却了人工操作,故而将此类错误大大减少,调研完毕更不必花费大量的时间去进行核对,又省去了近一倍的时间。
对于搬迁项目,信息的收集整理能够保证在设备迁入新机房之后的业务恢复,对信息进行调研收集也能够大大降低系统崩溃的风险,虽繁琐耗时却不可避免。故而萌生开发此日志分析系统对此过程进行自动化操作。
该系统主要功能采用C#编写,后台注册服务器使用MySQL技术实现注册功能,是一个可执行的exe终端软件。启动软件即可自动对已收集的日志信息进行分析提取,并可生成特定格式的Excel表格。使用该系统进行服务器系统配置信息收取可以大幅度减少人大体分为:网络工程师、存储工程师、服务器系统工程师、虚拟化架构师等几类。在调研过程中,主要操作对象便是各类系统服务器,按服务器操作系统主要可划分为:Linux、Windows、UNIX。而此篇将抛开大家耳熟能详的各类操作系统常规知识,而是更深层次挖掘各类平台的特点。
[Key words]Log server systemLog file analysisThe research of automation
引
神州数码系统集成服务有限公司(以下简称神州信息)有大量服务器运维项目合约,近期主抓《2016国家税务总局机房搬迁服务项目》以及《中国外运长航数据中心搬迁项目》两个大型项目,此外还有与苏宁、国美在线、京东等公司相关设备维护的签约,其中均涉及到大量的信息收集、统计、查看。相对于动辄上千台的设备信息收集,需要并且必须有一种合理的方法能够对每一台服务器设备、存储设备、网络设备、进行信息收集。
其设计现实意义在于节省大量的人工成本以及极大提高调研时效性,但由于现实条件所迫,暂时无法探寻到服务器信息提取深层原理。故而着重研究由系统log日志到可直观图标的自动化过程。
(三)
第一章介绍了IDC迁移的相关知识,用辩证的思维角度探讨了自动化调研的迫切性。结合现实环境,论述了本论题的必要性。
第二章详细论述了服务器及其系统信息,同时介绍了调研过程中服务器日志的由来及区别,概括了信息调研的具体操作步骤,说明了其发展情况。
毕业作品基本信息
摘
随科技发展,越来越多的科技型企业都需要对数据中心已老化的服务器进行更换,也就是我们所说的数据中心IDC迁移。而一众的老牌服务器厂商(HUAWEI、IBM、CISICO、DELL、HP、Lenovo、H3C等)均对此提供一定的技术支持,为客户提供相应的技术服务方案。然而,国内大多企业数据中心往往不会单一采用某一家公司的产品,而各大厂商单一服务成本昂贵。为解决此现状,第三方服务运维应运而生。
担任职责
该系统主体基于C#、MySQL,主要功能是用来分析包含服务器系统配置信息的log文件,同时能够根据需求直接在系统内部直接对Excel进行细微格式调整。而要完成该系统的使用,同时需要兼备Linux、Unix、Windows操作系统的基础理论知识以及Linux的shell文档编写。
该系统属于一个小型日志分析工具,为服务器配置信息的自动化调研而提供服务。在多个维护、IDC迁移中,该系统能够有效降低工作难度,提高工作效率,极大缩短工作时间,能够让工程师从繁琐的工作中解放双手,为公司节约大量人力物力成本。
In order to improve the work efficiency and simplify the work flow, I combine with the knowledge to design and develop the Log log analysis system. This system mainly uses C# development based on object oriented, able to read, batch analysis of log log, and can effectively analyze, according to statistics information extraction, and generate concise, can adjust the format of Excel document.
综上所述,由于数据中心迁移的刚需以及当下IDC迁移技术条件,服务器系统信息调研必然不会被取代。而从长远角度看,我们无法在每次调研中招收大量实习生实现低人工成本,故而,在信息调研环节我们迫切需要进行自动化。