大数据云平台项目V3
业务审批系统
EBA智能设备系统
人力HER系统
停车系统
3
技术架构
4
SEFONSOFT SOLUTIONS A BETTER WAY
建设思路
整体设计,突出重点 统筹规划,分步实施 整合资源,协同共享 积极创新,务实高效 优化机制,统一标准
5
SEFONSOFT SOLUTIONS A BETTER WAY
资源 数据 应用 服务 安全 标准
整合与完善硬件基础设施,形成计算、 网络和存储共享资源池 基于大数据技术,改善信息资源的整合、 挖潜、分析和研判
实现跨业务综合应用支撑体系,实现层 级整合、领域整合、系统整合
标准化和自动化的数据管理服务流程
强有力的网络与信息安全保障
着手制定和完善平台建设、应用交互、 数据共享等相关标准
SPACE(number)
SPLIT(string, delimiter, token
number)
STARTSWITH(string, substring)
时间函数
TISRDIMA(TsEt(rsintrgin) g) UMPAPKEERD(sAtrTinE(gy)ear, month, day)
基于数据库日志分析(oracle、mysql、Sqlserver)
备注 独有 独有 独有
独有 独有
Access输入、Excel输入、固定宽度文件输入、文件内容加载至内存、流查询、值映射、插入/更新、列拆 分为多行、列转行、去除重复记录、唯一行(哈希值)、增加常量等20多种清洗组件
支持处理节点的扩展,增加机器等方式扩展处理能力 插件扩展
任务并发度控制(任务级)、任务启动、任务中断、提供定时调度(多样定时组合,时间间隔可以到秒), 并能可视化配置; 提供跨节点调度,方便位于不同机器上运行节点之间的调度,并能可视化配置
图形监控、统计监控、日志报告
10
融合采集ETL-构件库
SEFONSOFT SOLUTIONS A BETTER WAY
数据预览
日志查询
业务表授权
上传文件 权限配置
自循环列 行列转换
数据表管理
发布下线 日志查询
数据表编 辑
权限管理
目录管理
功能权限 管理
数据权限 管理
登录与密码 设置
日志管理 移动端账号
管理
商业智能平台-业务架构
SEFONSOFT SOLUTIONS A BETTER WAY
SAE
ECore
SAE
BE Client
协同互动
分析报告
优势1:
1.不需要事前建立 数据立方体 2.节约系统构建时 间周期 3.需求发生变化时, 可以快速应对,易 于维护
优势2:
1.不影响原业务系 统,不给源数据库 造成压力 2.不需要事前建立 关联表,不需要事 前设计维度
优势3:
1.前端展现工具丰富多彩 2.操作简单,非IT技术者的 业务人员也可以随时随意制 作统计分析报告 3.Web、Excel、Dashboard 等多种统计分析界面,产品 线丰富,能满足各种层次用 户的各种需求
8
多种技术手段,平台化系统,快速部署,统一管理
为大数据应用提供 全兼容数据存储
融合采集ETL-数据处理流程
SEFONSOFT SOLUTIONS A BETTER WAY
9
融合采集ETL-主要功能
SEFONSOFT SOபைடு நூலகம்UTIONS A BETTER WAY
主要功能
支持的数据源
实时采集 CDC增量采集
Vue.js
BE Server
EMgr
外部业务数据源
数据分析查询流程
14
数据分析查询流程(已存储在数仓)
业务配置流程
业务数据库 数仓
系统管理流程
商业智能平台-算法支持
100余种基础算法支持
数字函数
ABS(number) ACOS(number) ASIN(number) ATAN(number) ATAN2(y number, x number ) CEILING(数字) COS(number) COT(number) DEGREES(number) DIV(整数 1, 整数 2) EXP(number) FLOOR(数字) HEXBINX(number, number) HEXBINY(number, number) LN(number) LOG(number [, base]) MAX(number, number) MIN(number, number) PI( ) POWER(number, power) Radians (number) ROUND(number, [decimals]) SIGN(number) SIN(number) SQRT(number) SQUARE(number) TAN(number) ZN(expression)
联合多个异 构数据源
18
拖拽可视编辑数据处理流程
数据处理 节点,可 随时扩展
商业智能平台-自助数据分析
数据模型切换
过滤 排序
时序轮播
维度/度量/参数
19
分析特性
二维数轴 图表分析显示
数据分析快照
SEFONSOFT SOLUTIONS A BETTER WAY
智能图表选择
商业智能平台-统计分析
SEFONSOFT SOLUTIONS A BETTER WAY
数据整合
SEFONSOFT SOLUTIONS A BETTER WAY
打通内部EAS系统、智慧社区的系统、天眼系统、停车场管理 系统、EBA智能设备系统,通过数据清洗、转换、比对实现数 据整合,打破企业内部数据孤岛。
数据治理
构建企业内部三层架构数仓,形成运营、市场、财务类主题数 据资源,建立大数据挖掘分析模型,实现多维数据分析。
ASCII(string)
CHAR(number)
Contains(string, substring)
ENDSWITH(string, substring)
FIND(string, substring, [start])
FINDNTH(string, substring,
occurrence)
LEFT(string, number)
商业智能平台-OLAP分析
业务数据库
Oracle SQL
其他 DB
ETL
提取、清洗、 转换、装载、整合
数据仓库 DWH
…
Flat SFQiLlesDB
从源数据库导入数据 不给业务系统造成压力
SEFONSOFT SOLUTIONS A BETTER WAY
其他应用系统
BE 前端
BE Server
自助分析
能给客户带来的价值:
1.节省数据库和系统构建的成本 2. 优质的产品: 操作简单,减轻IT人员负担,易于推广 对于临时的、变化的需求可以及时快速的应对
16
商业智能平台-数据仓库
SEFONSOFT SOLUTIONS A BETTER WAY
通过数据抽取将数据包括上传的文件数据均存储在数据仓库中。
轻量级数据仓库内置主流RDB,适用于小数据量 场景(GB级别)
通过直接配置,实现多种算法进行数据评估分析,包括平均线、指数平滑、 线性回归、同比、环比、占比等。
MAKEDATETIME(date, time)
MAKETIME(hour, minute,
second)
MAX(expression) 或 MAX(expr1,
expr2)
MIN(expression) or MIN(expr1,
expr2)
MONTH(date)
NOW( )
TODAY( )
YEAR (date)
商业智能平台-功能架构
SEFONSOFT SOLUTIONS A BETTER WAY
O L
选择图表
图表分析
选择业务数 据集
配置维度度 量
统计报表分析
联动配置
组件与组件 联动
查询条件与 组件联动
A P
配置分析指 标
配置计算指 标
轮播配置
简单报表
查询条件配置
分 析
参数配置
配置常量线
配置高级分 析线
复杂报表
15
SEFONSOFT SOLUTIONS A BETTER WAY
30余种高级挖掘分析算法支持
•F检验 •层次分析法 •单样本T检验 •卡方独立性检验 •卡方拟合性检验 •离散值特征分析 •皮尔森相关系数 •全表统计 •双样本T检验 •相关系数矩Correlation •协方差矩阵 •数据视图 •信息增益 •信息增益率 •方差分析ANOVA •指数平滑法
标准数据仓库配套Hadoop产品,适用于大数据 量场景(TB级别以上)
PT
Mysql
Oracle
Hive
HBase
集群
Driver
外部业务数据源
17
Master
WorkerNod e
WorkerNod e
WorkerNod e
商业智能平台-数据预处理
SEFONSOFT SOLUTIONS A BETTER WAY
SEFONSOFT SOLUTIONS POWERED BY DATA
数据云平台项目建设方案
构建大数据基础软件设施,发掘数据资源核心价值
CHENGDU SEFONSOFT CO.,LTD
SEFONSOFT SOLUTIONS A BETTER WAY 1
建设目标
11
融合采集ETL- 监控管理
ETL任务执行一览无余 可视化手段多角度作业监控 作业执行状态与成功率监控 对作业进行多角度排序