高频大数据解决方案
8
关键特性: 基于网络的数据库集群 复制
VoltDB包括一个网络复制Agent 这个Agent将事物异步从主集群(可读可 写)复制到备集群(只读) 异步的方式最大限度容忍网络可能出现 的问题
9
整合:高性能导出
❖ 并行导出
VoltDB 建立了一个基于事务的,可持久 化的导出框架
接近最大线速
在VoltDB完成高质量、实时分析、实时 响应,并把结果数据通过VoltDB Export
关键技术特性
❖ ACID全事务支持 ❖ 灵活的扩展性 ❖ 错误恢复 ❖ 可持久化到硬盘 ❖ 内嵌OLAP 导出连接器 ❖ 基于网络的异步集群复制
5
关键特性: 线性扩展
增加一个新结点到VoltDB集群可以有限提升集群 的最大吞吐量,也可以增加整个集群的内存容 量 集群的大小对应用来说是透明的
6
关键特性: 线性扩展(续)
寻求削减成本- 准备使用云端 ACID – 不能做到最终一致性就无法生存
次要销售机会 • 对风险抱保守的态度 • 使用传统数据库可以解决问题 • 很少使用到高速决策 • 非结构化数据、文件数据库 • 复杂的查询和分析 • 特别巨大的数据 • J2EE, Hibernate • Windows/Unix/COBOL architecture bias
...)
Relational
SQL through JDBC
Text,Pdf,HT M..
File Stores (S3,
GlusterFS, …)
JSON, XML
Web Services (Salesforce, Zendesk, …)
其它数据格式
Other data stores...
连接与查询分析
实时数据分析 基于内存的数据库
Datameer -从桌面到服务器 可视化大数据分析平台
Datameer – 可视化大数据分析平 台
Datameer开放式结构
Datameer可视化操作、分析与展 示界面
28.io 海量数据的综合信息查询分析平台
28io –海量数据的综合信息查询分析平台
吸引用户使用VoltDB的原因(条件)
❖ 公司的战略同大数据相关 ❖ 新的应用部署,而不是在现有应用上转换数据库 ❖ 额外的数据来源于在线数据 ❖ 为了获取性能、分区等使用费自然的技术手段 ❖ 面临来自于创新的竞争压力 ❖ Oracle 不能满足性能的需求、授权或者对于降低硬件成本的需求 ❖ 公司需要围绕特定技术寻求发展
右边表格源自于独立的 测试机构Percona,标示 出线性扩展到每秒150万 次的运算和最高推断值 达到30个服务器。这个 表也表明VoltDB线性扩 展具备K-Safety
关键特性: 内置异常恢复/HA功能
分区就是复制的单位 事务复制操作(不是更改记录)使用 Active/Active 同步复制方式 应用只有在所有复制节点都提交(或者 回滚)后才会收到成功(或者失败)的 响应
etc….)
Query across disparate content repositories Dynamically render and deliver content in multiple formats
Editor s, Conte nt Curato rs
Search, reuse, repurpose content
Content sources storing documents, emails, books, articles, web pages, etc.
Relational Database
Filesystem
NoSQL Database
Third-Party CFra bibliotekntent Feeds (XML, HTML, ZIP,
User Mgt.
Traditional OLTP
Cart Inv
Orders
CR M ER P
HR
Data warehouse
Hadoop
使用方案中会包含VoltDB的目标 客户
理想的销售机会Ideal Prospect Characteristics
❖初期采用者 ❖高速率-增长中的交易处理率 ❖寻求竞争差异 ❖事务处理 – 需要做出决策 ❖创建新的apps ❖数据吞吐量用尽 ❖水平分区Sharding – 目前使用手工操作 ❖其次
sensors authorizations
orders clicks
impressions
VoltDB的一个典型架构
Analytic results enrich decision making
Velocity OLTP
Recommendation
Click Stream
Personalization
28.io
Unified Information Access Platform
Content destinations
Web Sites, Portals, Web Apps
Mobile Apps
Optionally import content
现代公司的信息量往往大爆炸 种类 容量 速率企业数据被储存在孤立的数据 仓库 中
解决方案
商业应用
实时 REST API
可视化了的查询的查询及处理图层 JSONiq 查询语言: 非关联数据库的
结构化数据/半结构化数据/非结构 结构化查询语言
化数据
自动并行运算
JSON, XML
NoSQL (MongoDB, CouchDB,
系统中的高频数据
Smart Meter
高度切 合领域
1
更快: 读/写 负载 延时/吞吐量
VoltDB 应用案例
VoltDB应用/方案的高吻合目标行 业
❖ 行业
电信和网络 金融服务 广告科技 能源和应用 资本市场 电子商务 / 零售业 在线游戏 以上绝不是仅有的行业!
❖ 其它行业种类
战略性大数据项目 早期使用者 感应器驱动的环境
❖ 基于事先建立的连导出到OLAP
接
Hadoop CSV
JDBC (PostgreSQL, MySQL, Oracle)
VoltDB管理和监控
❖ Nagios 脚本 ❖ Logs to Log4j ❖ JMX ❖ VoltDB 企业管理器 ❖ 每一个节点都有一个
内置网络服务器 ❖ 特殊的系统程序
trades logins