ParaAnalytics LA 大数据日志分析关于派拉派拉日志分析介绍公司成立于2008年,总部位于上海张江,在上海、北京、广州、长春、武汉等地设有服务机构。
派拉软件是企业级I T 管理平台解决方案提供商，专注于身份安全认证、云计算安全、大数据平台及应用。
拥有全资子公司“上海安倍思信息技术有限公司”,提供I B M 、C l o u d e r a 、M o b i l e l r o n 、T i b c o 等软件厂商的产品、咨询及实施服务。
拥有国际背景的强大技术团队，辐射全国的本地化专业服务，融合风险管理的资深管理团队。
关于派拉派拉概况关于派拉发展历程上海派拉软件股份有限公司成立北京分公司成立荣获“中国信息安全产品创新奖”新三板挂牌上市•发布ParaSecure OSC 安全运维管理软件•发布ParaSecure ESC企业安全管理软件•完成A轮融资荣获“中国创业大奖赛”大奖•完成B轮融资•通过CMMI－3级认证•发布大数据解决方案•上海市科技小巨人培育企业关于派拉荣誉、认证、合作派拉建立了精通机器学习和数据挖掘算法，熟悉Hadoop技术的大数据专家团队，通过Cloudera 认证的人数达到14人次，具备Hadoop管理员，开发员，分析师等多种资质认证。
派拉大数据管理工程师(管理工程师)派拉大数据认证工程师(开发工程师)派拉大数据认证工程师(数据分析师)关于派拉荣誉、认证、合作派拉基于Cloudera大数据平台自主研发的日志分析软件ParaAnalytics LA获得2016年度中国大数据领域最佳产品奖。
派拉大数据主要客户制造业银行业保险业互联网政府公安上汽大众上汽集团中国银联人行征信中心华泰证券陆金所咪咕视讯大连公安派拉日志分析PLA基于大数据的运维分析IT运维面对环境数据多、交易快、种类杂的严峻挑战，在如此巨大的外在压力下，传统处理手段远远跟不上应用规模的发展。
IT运维面临的挑战▪大型数据中心: 数以千记的服务器+ 网络+ 存储+ 中间件，每天产生大约几TB 的日志、可用性和性能数据▪互联网金融所带来的Web及移动应用所要求的研发与敏捷开发，产生的数据量则大到难以统计▪每秒交易量可达3000笔+▪性能与可用性运维覆盖的指标记录，通常每分钟或几分钟在各实例上进行采集，平均每分钟采集与落地的数据达到GB 级▪由异常侦测产生IT事件量若不经过压缩关联，每秒都会产生快多杂▪网络流量与事务处理▪日志文件▪报警与事件▪性能指标▪核心文件与内存痕迹▪配置文件▪服务请求▪故障通知单▪社交媒体▪库存与资产▪用户文档与技术文档调研发现，IT 运维数据的价值被企业广泛认同Source:资料来源：“分析：大数据在真实世界的应用：创新型企业如何在不确定性数据中提炼价值”，IBM 商业价值研究院及牛津大学SAID 商学院/common/ssi/ecm/en/gbe03519usen/GBE03519USEN.PDF运维优化交易日志事件电邮IT运维大数据分析（ITOA）定义•IT运维大数据分析，国外叫做IT Operations Analytics，简称ITOA•Gartner定义：Technology or service that collects, stores, presents, and performs deductive and/or inductive inferences about large volumes of IT operations data.对大量IT运维数据进行采集、存储、展现、进行演绎和/或归纳推理的技术或者服务。
•Forrester定义：The use of mathematical algorithms and other innovations to extract meaningful information from the sea of raw data collected by management and monitoring technologies.从管理和监控技术所采集的海量原始数据，通过数学算法及其他创新手段来提取有用信息的运用。
IT 运维大数据分析蓝图系统画像运维数据技术平台运维主题基于大数据技术运维主题整理当前运维盲点痛点进行运维打破原有运维壁垒，归纳总结运维场景主动/预测式的方法，建立系统画像。
改变原来的竖井式运维，以运维场景为基础以主动式预测为手段实现智能化运维运维数据采集各种运维结构化数据和非结构化数据通过统一接口进行汇总清洗聚合索引完善数据体系建立运维标签和特征引擎技术平台开源软件Hadoop /SPARK 大数据技术采用可超百台集群部署X86硬件服务器通过灵活的算法库实现智能化运维借助系统画像，运维人员可以更直观，更系统的整合运维主题和运维数据，以推动数据中心智能化运维将大数据分析技术应用于IT 运维的渐进发展模式监控：现在发生了什么报告：发生过什么分析：为什么发生了预警：什么将要发生预防：如何事先预防或采取对策业务价值复杂度Log Analysis 产品架构•更快的搜索日志信息；•清晰的定位问题根源；•有效的进行问题预警；•更大的发掘日志价值；•整合日志与性能和告警；•大大提升运维能力。
应用性能分析日志数据抽取分析实时流式计算Rule Engine 规则引擎大数据存储（HDFS 、NOSQL ）数据分析模块日志全文搜索分析报表大数据运维门户Dashboard数据可视化引擎系统日志数据库/中间件日志日志采集模块展现层大数据分析层采集层日志数据应用日志网络日志系统/网络性能数据性能采集模块性能数据告警采集模块告警数据告警数据内涵意义的解析和提取日志文件[10/9/12 5:51:38:295 GMT+05:30] 0000006a servlet Ecom.ibm.ws.webcontainer.servlet.ServletWrapper service SRVE0068E: Uncaught exception created in one of the service methods of the servlet TradeAppServlet in application DayTrader2-EE5. Exception created :javax.servlet.ServletException: TradeServletAction.doSell(...) exceptionselling holding 3111 for user =uid:43 atorg.apache.geronimo.samples.daytrader.web.TradeServletAction.doSell(Tra deServletAction.java:708)日志分析服务器文本分析以及规则性表述Schema on WriteSchema on Read出错代码线程ID灵活的搜索可点击下钻视图化展现Dashboard报警开关报警方式灵活设置报警条件常用日志开箱即用的支持•系统日志：Syslog，Eventlog，AIX Error Log•数据库：Oracle，SQL Server，DB2，MySQL•中间件：WAS，Weblogic，T omcat，JBOSS，MQ/MB •Web Server：Apache，IIS，NGINX•Microsoft：Exchange，AD常用日志开箱即用的支持•开箱即用的日志解析•开箱即用的Dashboard•开箱即用的告警设置•运行在Apache ，WAS ，Oracle 环境中的Trade Application 。
用户发现交易响应非常慢，运维团队使用日志分析查询应用和中间件日志进行诊断。
应用交易响应时间升高查找WebServer 日志中的出错信息查找WAS 日志中的出错信息查找数据库日志中的出错信息从业务仪表盘上看到，在应用日志中发现用户交易响应时间异常变慢查看相近时间段的其他日志源，发现WebServer的AccessLog中出现500返回码错误，表征发生了交易失败同时看到WAS中间件的日志中也出现大量出错信息，点击查看详细内容，发现主要是数据库连接的问题进一步查看数据库日志仪表盘，发现相近时间出现大量锁等待信息，怀疑是导致交易问题的根源为进一步明确问题根源，在日志搜索界面中选择WAS和数据库日志源，对问题发生时间前半小时的日志进行搜索。
搜索结果显示了交易问题发生之前应用中间件和数据库的日志中的出错信息对搜索结果进行图形化展现，可以直观地看出中间件出错信息和数据库出错信息之间的相关性，从而诊断出问题根DBA解决了数据库锁的问题，应用交易恢复正常•运行在Apache，WAS，Oracle环境中的Trade Application。
用户发现交易响应非常慢，运维团队使用日志分析查询应用和中间件日志进行诊断。
日志分析应用场景—应用性能监控•从应用的交易日志中提取交易量、响应时间、成功率等关键性能指标，是实现APM的主流方式。
•能够关联多个交易环节的日志实现端到端的交易监控交易响应时间交易量交易成功率日志分析应用场景—日志审计•现状：环境复杂，日志分散，难以管理。
•合规性要求：•重要日志文件不少于半年。
•能根据审计记录进行数据分析，并生成统计报表。
•避免审计记录遭受未预期的删除、修改或覆盖。
•实施信息系统的统一安全策略，实现集中审计。
•搭建统一的日志管理系统•各种来源、格式、用途的日志集中存储集中管理•大数据技术提供足够的存储空间和备份归档策略满足存储时间要求•数据冗余保证日志的完整性•便于搜索查询•对审计记录的保护•部署统一策略，实现集中审计。
日志分析应用场景—安全事件分析•用户行为分析•发现用户访问中的异常行为和潜在的风险•关联系统、应用、网络等多种日志，追踪非法访问的来源•建立用户行为模型•恶意软件和网络异常检测•信息泄露检测•垃圾邮件过滤（SP AM Filter）IT运维大数据分析对IT运维带来的实际价值预测故障发现异常查找问题分析性能优化策略•基于性能基线实现阀值优化•海量数据中集中索引多方面信息•跨域故障定位和分析•故障预警及预处理•性能指标异常提前感知•系统行为规律发现与总结•历史异常规律挖掘•运维流程与效率优化•资源配置优化运维大数据分析不是为用户采集更多数据，而是让用户能够以全新的视角去看待已有的数据，从中发掘出更多的价值。
proposed by Paraview Software Co., Ltd.。