农业大数据PPT (2)
一、农业大数据时代
大数据时代,随着硬件设备发展,计算机计算能
力的提高,互联网的崛起,数据呈现疯狂增长。 季节性 现代农 业特点 大数据量 地域性 多样性 周期性
分类杂多
数据及时
关联性强
数据无处不在
数据无时不有
一、农业大数据时代
根据不完全统计,现代中国农业每年产生8000pb的数
据存储。 其中:农业资源数据3500pb 农业市场数据1000pb 农业生产数据2500pb 农业管理数据1000bp
Web 服务器
①前端层 – Web访问层 ESX
Xen 系统级 虚拟化
灵活 Linux/Windows/Solaris x86
Linux/Windows/Solaris x86 Linux/Windows/Solaris x86
应用服务器
XVM – 应用服务 ②中间层 Windows Server Virtualization
二、总体思路
数据建模 视图建模 服务管理 数据融合
信息库
视图类
服务类 服务描述
关联
信息 资源 管理 系统
数据 管理 融合 服务
分类
视图 申请
汇聚
数据集
关联 授权
切分
数据元
数据录入
汇聚
调度监控
数据授权
转换
录入
数据查询
导入
Web 服务
导出
数据集 授权
字段授 权
数据范 围授权
敏感信 息屏蔽
统计分析
数据 查询
建设任务
基于现状,优先满足紧迫需求,建立目标框架的3-5年规划
管控体系
规划、建设、应用、维护、评估管理框架
18
四、建设任务
系统构建模型 NGOSS模型
TMF eTOM 现状分析 参考案例
业务框架
分 析 过 程
应用框架
TMF TAM
信息框架
TMF SID
技术框架 IT管控体系 生命周期 NGOSS
终端客户端
主机虚拟化
应用级 虚拟化
产品 终端层 – 使用层
Thinstall Virtual OS
平台支持
X86 X86 X86 X86 X86 X86 X86 HP RISC/Itanium
简单
操作系统
Windows Server Virtualization
Windows Linux/Windows
数据服务
五、建设前景
架构:从分散到统一
各系统的技术架构从以往的各专业分散搭建向统一构架转变。从整个系统角度 统一考虑硬件(存储、备份),数据采集(平台、接口、总线),以及上层应用呈 现,才能满足应用本身的变动而不用耗费大量人力物力。
系统:从专业到综合
系统建设从传统的各专业建设向综合的应用服务系统建设转变。将企业与行业 的各项数据进行整合;将信息管理、业务管理、统计分析、数据挖掘等管理职能整 合;才能保障挖掘与分析的结果时效性。
根据数据分析提供 销售依据
数据分析
销售系统
大数据
综合服务
生产系统
根据数据分析提供 仓储依据
仓储系统
根据数据分析提供 生产依据
2016年6月1日
数据:从封闭到共享
从以往各系统独立采集处理数据向统一数据采集、处理转变。建立统一的数据采集 平台和数据服务平台,通过规范的接口提供给各个应用功能使用。提行业可用用数据的 可控性和可靠性,并对多专业、多维度的数据进行关联分析,支撑未来业务发展。
五、建设前景
从数据的使用特点, 验证数据分析模式 切实可行,模式规 范有效,为企业提 供依据
三、总体规划
企业历史信息资源的整合与利用
行业历史信息资源的整合与利用 系统将为销售、生产、仓储等提供数据支撑 为领导决策提供数据依据
数据分析与决策 企业历史数据管理 销售
综合业务数据处理
生产
行业历史数据管理 生产数据管理
17
仓储
四、建设任务
业务框架:内外部环境、职能部门业务目标、管理对象、工作 任务、组织结构、管理体系、与外部门接口工作 应用框架:目标应用系统划分、应用功能模块、内外部接口 建设框架 信息框架:数据模型体系和数据质量管理体系,包括企业生产 数据、行业历史信息数据、其它有效的数据 技术框架:网络/主机/存储/系统软件/中间件/应用软件技术架 构与公共要求/COTS软件评估
输入
云平台
分布式存储 系统虚拟化 网络
大数据核心
三、总体规划
• 数据采集
应用系统
• 行业预警 • 信息交互 • 流程化办公
• 信息统计 • 业务统计 • 多维度分析 • 决策支持
综合分析系统
综合管理系统
• 资源统一管理 • 应用统一管理 • 安全统一管理 • 流程统一管理
三、总体规划
信息资源库
• 企业信息库 • 数据资源管理 • 数据整合处理 • 数据导出管理 • 历史数据管理 • 数据备份恢复 • 行业登记 • 行业基础数据管理 • 行业在线业务 • 行业预警 • 原材料数据
TMF TNA/TSA
建设 方案
19
四、建设任务
企业级应用 内部数据私有 面向公众开放数据
标 准 规 范 与 安 全 保 障 体 系
业务入口
数据服务
运
现有数据
企业历史数据 行业历史数据
维
统 一 的 安 全 保 障 体 系
统 一 标 准 规 范 流 程 体 系
生产数据
管 理 体 系
历史数据
xml xml xml
机构
用户
用户组
对表授权
对字段授权
安全核心
对数据范围 授权 敏感数据屏 蔽规则
二、总体思路
云管理
数据挖掘 云服务
智能决策 行业生产分析预判 系统监控
资源调度
数据中心 数据并行处理(Hadoop) 并行算法设计 资源管理
数据 挖掘
数据管理 系统 信息资源库
输出
算法组件调度 数据汇集 计算任务调度 资源安全
安全
Windows, Linux, etc Linux
数据库服务器
硬件 虚拟化
③后端 – 数据库
NPAR
KVM(Linux)
可伸缩 HPUX/Linux/Windows
21
四、建设任务
企业
数据中心 应用服务器 数据发布 中心
行业
因特网
销售
生产
仓储
........
四、建设任务
采用SOA体系架构,通过构建通用集成平台,抽象封装业务服务及数据应
气象数据 环境数据 生物数据 农业数据
一、农业大数据时代
大数据时代,到底能给农业带来了什么?
大数据时代,还需要大量人工统计?
一、农业大数据时代
大数据农业对传统农业的数据数据采集与分析体
系产生了巨大的挑战。
从数据采集,标准制定,数据清洗,数据分析, 数据挖掘,数据展示等多方面要做人工处理到智能化 处理的过度。 有了优质的数据依据,就可以从行业流程,行业 知识,辅助决策中发现行业的更大潜力与价值。
二、总体思路
存在问题 问题1
各种资源依靠人力管理,导致信息难以集中与统筹安排使用
问题2
各类统计分析服务、应用信息化程度不足,无法提供有利行业支撑
问题3
统计分析信息化程度不高,无法为领导提供其它决策支撑
问题4
缺乏多方面信息与资料的安全备份管理,易损坏,易丢失,易窃取
问题5
有关管理部门业务人力成本居高不下
2016年6月1日
一、农业大数据时代
二、总体思路 三、建设规划
四、建设任务
五、建设前景
一、农业大数据时代
大数据,是近几年用来定义大信息量时代对于传
统行业汇聚的数据多样性的一种描述,并不是简单的
数据汇总,而是通过现有计算机技术对海量数据进行 分析与挖掘,从而提供更强的决策数据依据、洞察行 业本身存在的业务和流程优化能力,来适应快速、高 增长率和多样化的行业资产。
适配器
适配器
数据共享、清洗、整理a挖掘平台
xml
适配器
适配器
销售数据
仓储数据
原材料数据 流程管理数据 ···
生产工艺数据
信息化统一服务平台
20
四、建设任务
通过IT信息化技术实现三层应用架构,实现安全性、可伸缩的解决方案 通过服务器级应用扩展为不同的应用提供了良好的性能及扩展性
第一层:Web服务器,通过负载均衡等技术实现系统的性能和扩展性 第二层:应用服务器,通过分区技术和自定义组件来实现系统的高可用性和扩展性 第三层:数据服务器,通过分区技术实现系统的高性能和扩展性
企业应用系统
• 政策信息库
• 综合分析库 • 管理信息库 • 安全数据库
• 基础数据库
综合管理系统
• 企业资料管理 • 行业信息管理 • 行业预警设定 • 线上业务设定 • 行业数据监管 • 公共数据接口管理 • 系统用户管理 • 企业用户管理 • 企业应用授权 • 日志管理
综合分析系统
• 行业现状分析 • 行业历史分析 • 行业统计分析 • 行业历史评价 • 销售数据分析 • 仓储数据分析 • 生产数据评估 • 原材料使用评估
一、农业大数据时代
大量的数据如何使用?
数据库
基础数据库
业务数据库 查询数据库 …….数据库 …….数据库 …….数据库
一、农业大数据时代
大数据农业对传统农业的数据数据采集与分析体
系产生了巨大的挑战。
从数据采集,标准制定,数据清洗,数据分析, 数据挖掘,数据展示等多方面要做人工处理到智能化 处理的过度。 有了优质的数据依据,就可以从行业流程,行业 知识,辅助决策中发现行业的更大潜力与价值。