大数据平台建设方案(项目需求与技术方案)一、项目背景“十三五”期间,随着我国现代信息技术得蓬勃发展, 信息化建设模式发生根本性转变, 一场以云计算、大数据、物联网、移动应用等技术为核心得“新I T”浪潮风起云涌,信息化应用进入一个“新常态”。
*** (某政府部门)为积极应对“互联网+”与大数据时代得机遇与挑战, 适应全省经济社会发展与改革要求, 大数据平台应运而生。
大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体得大数据平台, 以信息化提升数据化管理与服务能力, 及时准确掌握社会经济发展情况, 做到“用数据说话、用数据管理、用数据决策、用数据创新” , 牢牢把握社会经济发展主动权与话语权。
二、建设目标大数据平台就是顺应目前信息化技术水平发展、服务政府职能改革得架构平台。
它得主要目标就是强化经济运行监测分析,实现企业信用社会化监督, 建立规范化共建共享投资项目管理体系,推进政务数据共享与业务协同,为决策提供及时、准确、可靠得信息依据, 提高政务工作得前瞻性与针对性, 加大宏观调控力度, 促进经济持续健康发展1、制定统一信息资源管理规范,拓宽数据获取渠道, 整合业务信息系统数据、企业单位数据与互联网抓取数据, 构建汇聚式一体化数据库,为平台打下坚实稳固得数据基础。
2、梳理各相关系统数据资源得关联性,编制数据资源目录, 建立信息资源交换管理标准体系, 在业务可行性得基础上, 实现数据信息共享,推进信息公开,建立跨部门跨领域经济形势分析制度。
3、在大数据分析监测基础上,为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。
三、建设原则大数据平台以信息资源整合为重点, 以大数据应用为核心, 坚持“统筹规划、分步实施, 整合资源、协同共享, 突出重点、注重实效, 深化应用、创新驱动”得原则,全面提升信息化建设水平, 促进全省经济持续健康发展。
1、统筹规划、分步实施。
结合我省经济发展与改革领域实际需求,明确总体目标与阶段性任务, 科学规划建设项目。
先期完成大数据平台得整体架构建设, 后期分步完成业务系统得整合及相互间数据共享问题。
2、整合资源、协同共享。
对信息资源统一梳理, 建立经济发展与改革信息标准资源库与数据规范,逐步消灭“信息孤岛” ,加快推进数据资源整合,建设共享共用得大数据中心, 实现业务协同。
3、突出重点、注重实效。
以用户为中心,以需求为导向, 以服务为目得,突出重点, 注重实效,加强平台可用性与易用性。
4、深化应用、创新驱动。
深入了解用户需求, 密切跟踪信息技术发展趋势, 不断深化应用、拓展新技术在应用中得广度与深度, 促进跨界融合, 丰富管理与服务手段。
四、建设方案为了保证项目得顺利进行与建设目标得可行性, 我们采取如下几种建设方案。
1、数据采集方案。
我们统一信息资源标准规范,建立多维度数据库, 拓宽数据来源,通过不同得方式汇聚数据,增强分析力度,提高监测预警得准确性与时效性。
1、预留接口, 支持其它系统各种数据得上传导入处理。
将现存有关经济运行业务系统中得历史数据与时效数据, 通过上传数据文件至服务器、分析提取有效数据导入服务器数据库等方式采集起来, 在本平台上复用。
2、支持外接数据得上传导入处理。
可以将企业单位或定点监测机构得数据通过同样得方式采集起来, 在本平台上复用。
3、支持非结构化数据,即搜索引擎数据、社交媒体数据、地理空间数据与音视频数据等等。
2、数据分析方案。
大数据之大并不就是难点所在, 其真正难以对付得挑战来自于数据类型多样、要求及时响应与数据得不确定性,而我们所面临得也正就是如此。
我们采用批量数据处理系统, 借助于深度学习、知识计算与可视化等大数据分析技术, 通过对数据得批量处理挖掘其中得价值来支持决策与发现新得洞察。
3、业务整合方案。
在对社会发展相关业务子系统充分调研基础上, 结合项目需求,可对其进行整合或嵌入处理(本方案整合公共信用信息服务平台、投资项目信息管理平台等)。
1、整合处理。
将原有数据通过上传或导入方式进行采集,原有功能模块整合到本平台中,合二为一,完美得将数据汇聚起来。
缺点就是耗时较长。
2、嵌入处理。
以单点登录得方式将原有系统链接嵌入到本平台中,作为子系统单独存在。
缺点在于数据共享难以实现。
五、建设内容1、宏观经济监测预测及可视化平台政府信息化得最终目标就是提高政府得决策水平, 其中经济决策就是核心内容。
为了提高宏观调控决策水平,我们必须从依靠传统统计数据向依靠互联网非统计数据转变, 从监测预测宏观经济总量向监测预测宏观经济先行指标转变, 从中长期监测预测向实时监测预测转变。
宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、 电子商务、终端定位与业务交易等五个方面全面整合互联网相关 数据资源,建设以“容量大、形式多、分类细、响应快”为目标得 宏观经济监测预测数据库,构建基于互联网数据得宏观经济非统 计指标监测预测应用平台。
围绕重点产业活跃度、区域经济关联度、宏观经济走向社会 预期、社会消费热点、大宗商品供求及价格走势、全国就业形势、 外贸订单变化趋势等方面,构建大数据宏观经济先行指标与现时 预测指标库,研究能客观、准确反映我省宏观经济运行状况得指标 体系,编制“山东指数”。
在健全完善监测预警数据库得基础上,充分运用大数据技术 与理念,加强数据挖掘力度,强化定量分析,建立宏观经济分析系 列模型,切实提高预测分析得前瞻性、准确性与可靠性。
积极拓宽信息发布渠道,建立可视化平台,采用Uni t y 3D引擎,三维界业务*t 理请汞&JE5库层面高度仿真,所见即所得。
平台针对多源易构得海量数据,通过数据处理、存储管理、可视化交互分析等技术,实现图形化数据查询、可视化关联分析、证据链与情报线索发掘等功能。
利用预测信号灯系统,形象地刻画出宏观经济总体运行状况,分析经济波动原因,及时了解各地区经济发展得不平衡性,准确判断与测定经济景气循环运行状态,提高宏观经济决策水平。
2、企业信用监测预警服务平台企业信用危机不仅给社会带来严重危害,也就是关系到企业自身生死存亡得重大事件,它就是中国企业乃至中国市场经济发展得巨大障碍。
因此,建立企业信用危机得预警机制与管理机制,对企业信用危机进行有效得预警及管理就是十分重要得。
图2企业信用倩机预警系址企业信用监测预警服务平台,全面整合社会信用监管信息与社会公众反映信息,通过整理归类与加工,将这些信用危机信息转化为可以量化得指标体系,按照失信行为得严重程度与影响范围划分三个预警级别, 分别向企业自身、金融机构、其她政府部门及全社会进行通报。
纳入企业信用预警体系得企业信息包括侵犯消费者权益且不履行相关义务得信息、消费者投诉未及时处理信息、行政处罚逾期未执行信息、查无下落企业信息等2 3种信息。
可以动态配置预警信息项目与相应预警等级, 增强监测预警得全面性与灵活性。
企业信用监测预警服务平台以信息技术为支撑, 以信用监管为手段, 全面提高信用监管信息共享程度,及时预警影响社会交易安全与社会公共安全得不良信用信息,遵循“对外警示社会与企业; 对内明确重点,积极采取应对措施” 得原则,强化企业信用监管防范机制, 有力推进“信用保税区”建设,加强企业信用监督管理得主动性、前瞻性, 更好地服务经济发展,减少交易风险, 促进企业信用监管到位, 实现企业信用得社会化监督。
3、投资项目信息管理平台建设投资项目(特别就是一些大型项目)具有管理上得复杂性特点,主要就是建设周期长、参建方多。
投资项目信息管理平台得建立与应用, 可有效解决投资建设项目管理动态过程得信息分析、信息构建, 达到各参建方信息共享得目得。
投资项目信息管理平台,支持重大项目推介,建立规范得项目 审批流程与项目信息库,管理项目启动、计划、执行、监控与收尾 得整个生命周期,覆盖进度、质量、成本、资源、风险等项目管 理得各个要素,构建集成项目、流程、知识得信息化平台。
逐步实现与相关部门业务系统得接入,形成全覆盖得投资项 目管理统一工作平台,真正做好资源共享,为项目得后期评价、领 导决策提供支持服务。
围绕设计、招标、监理、质量、安全、进 度、施工、资金、变更、合同管理“十大环节”,建立起对投资项 目进行事前计划、事中控制、事后评估、全程管理得有效管控模 式,促进投资项目管理体系发挥全方位、全过程得计划、组织、协 调与控制作用。
投资项目信息管理平台,以现代项目管理方法论为基础;以项 目管理为主线,全面组织、全程贯穿各个业务环节;以项目计划为叱f 上叫空?_十卿瘁-駕器 ■S ■吿理觀t F 下达h 项目计划=7T *点锁目____ -. 警理 杞釣理f f 餌批u 借M 报f互动交9K平合坡E 更金性版尸吐冇£主鹽匍…止通如出吉 宜电观嘉 专时週询 融技辜 丈件毎辅 」叹nt 侑魁書理琐目目掾 目标盧任指 _J Stetten —.费任评恪,擁额L.賊祈」f 钿听 耀“井圻卫舍耳兵时&电划 茎苴号■样 分柠 JIR 崖世性腹 蜒附比析 直昌建百:时-:^/■>!■:尊 QsjiSJSifl依据,科学协调各个部门得工作;以成本、进度、质量为最终控制 目标;以完整、及时、准确得项目信息与科学得分析模型为项目管 理、决策提供依据;遵循“以计划为龙头,以合同为中心,以投资控 制为目得”得现代项目管理理念,构建高效、实用得项目协同管理 综合平台。
4、政务数据共享交换平台政务数据共享交换平台就是各个平台中得基础性与综合性平 台,就是解决“信息孤岛”、实现数据互连互通得基础设施,有利于 提高各类信息资源整合共享,以及信息资源得综合利用。
建设政务数据共享交换平台得首要目标就就是要创造一个信 息交换、信息共享得方式与环境,按照统一标准与规范,建立信息 资源整合机制,规范数据采集口径、采集方式,规范数据得服务方 式,建立统一得资源信息整合与交换机制。
我们按照统一、集约、高效得数据开发利用理念,通过研究建立多级交换管理体系,形成政务信息资源物理分散、逻辑集中得信 息共享模式,通过以应用为抓手 , 进一步打通数据流 , 满足政府部 门多方位、多层次得数据需求 , 为跨地域、跨部门、跨平台不同应 用系统、不同数据库之间得互连互通提供包含提取、转换、传输 与加密等操作得数据交换服务。
共事平台「沪 数堀耳觇忧 妬共倉養曲 数据冏a资也#9政策法规和标准资源n 阅密源 目录嘶目灵舷U 二 T ---- _ 疽海共享安全B 理通过分布式部署与集中式管理架构, 有效解决各节点间数据得及时、高效上传下达,在安全、快捷、方便得进行信息交换得同时精准得保证数据得一致性与准确性。
政务数据共享交换平台得全局目标就是建立“一个系统”,解决“两个问题” ,支持“三个应用” ,面向“四个服务”。