高频大数据解决方案
...)
Relational
SQL through JDBC
Text,Pdf,HTM. .
File Stores (S3,
GlusterFS, …)
JSON, XML
Web Services (Salesforce, Zendesk, …)
其它数据格式
Other data stores...
连接与查询分析
吸引用户使用VoltDB的原因(条件)
• 公司的战略同大数据相关 • 新的应用部署,而不是在现有应用上转换数据库 • 额外的数据来源于在线数据 • 为了获取性能、分区等使用费自然的技术手段 • 面临来自于创新的竞争压力 • Oracle 不能满足性能的需求、授权或者对于降低硬件成本的需求 • 公司需要围绕特定技术寻求发展
50000
100000
150000
200000
250000
300000
350000
TPS每秒事物处理量
VoltDB 应用案例
数据来源
高频率运行
低频率运行
金融贸易监控
资金市场
电信呼叫数据记录 管理
呼叫初始请求
写/索引所有交易,存储逐笔 交易资料
显示整合交易者的风险
实时授权认可
欺诈侦测分析
网站数据分析、 欺诈侦测
•
很多时候人们不是因为失败而烦恼, 而是因 为失败 之后找 不到任 何借口 而烦恼 。。202 2年3月 22日星 期二3 时22分3 5秒Tue sday, March 22, 2022
•
是男儿总要走向远方,走向远方是为 了让生 命更辉 煌。走 在崎岖 不平的 路上, 年轻的 眼眸里 装着梦 更装着 思想。 不论是 孤独地 走着还 是结伴 同行, 让每一 个脚印 都坚实 而有力 量。。2 2.3.222 022年3 月22日 星期二 3时22 分35秒2 2.3.22
– Netezza
– Vertica
VoltDB管理和监控
• Nagios 脚本 • Logs to Log4j • JMX • VoltDB 企业管理器 • 每一个节点都有一个
内置网络服务器 • 特殊的系统程序
VoltDB的一个典型架构
trades logins
sensors authorizations
•
不把半步、一步积累起来,就不能走 到千里 远的地 方,不 把细流 汇聚起 来,就 不能形 成江河 大海。 。22.3.2 222.3.2 215:22: 3515:2 2:35Ma rch 22, 2022
•
君子认为说得多做得少是可耻的。。2 022年3 月22日 下午3 时22分2 2.3.222 2.3.22
•
军队无放任,学校无放任,此今日世 界各共 和国之 道例。 军队放 任,则 将不能 以令, 学校放 任,则 师不能 以教; 将不能 令则军 败,师 不能教 则学校 败,其 为国忠 ,莫此 之尤。 。下午3 时22分 35秒下 午3时2 2分15: 22:3522 .3.22
•
我绝不悲观。我要争取多活。我要为 我们的 社会主 义祖国 工作到 生命的 最后一 息。。2 2.3.222 2.3.221 5:2215: 22:351 5:22:35 Mar-22
Connotate – 智能化的Web数据抽取工具
• Web Agent(数据抽取的工具)可自动自主的运行。 • 根据您的要求输出结构化数据集(通常是CSV格式或则是XML格式)
Connotate使网络数据变成了您的数据库
• 在Connotate的帮助下,您可以在网络上获得您需要的结构化有用的数 据
Orders
CRM
ERP HR
Interactive
Real-time Analytics
Data warehouse
Historical Analytics
Hadoop
Exploratory Analytics
使用方案中会包含VoltDB的目标客户
理想的销售机会Ideal Prospect Characteristics
6
关键特性: 线性扩展
增加一个新结点到VoltDB集群可以有限提升集群 的最大吞吐量,也可以增加整个集群的内存容 量 集群的大小对应用来说是透明的
7
关键特性 线性扩展(续)
右边表格源自于独立的 测试机构Percona,标示 出线性扩展到每秒150万 次的运算和最高推断值 达到30个服务器。这个 表也表明VoltDB线性扩 展具备K-Safety
Custom Content Feeds
Separate TaskSpecific Repository (e.g., MongoDB)
…
Curated content, Master indices, Markup/structure for repurposing, Migrated content from retired sources
10
整合:高性能导出
• 并行导出
VoltDB 建立了一个基于事务的,可持久 化的导出框架
– 接近最大线速
• 基于事先建立的连接
– Hadoop
在VoltDB完成高质量、实时分析、实时 响应,并把结果数据通过VoltDB Export 导出到OLAP
– CSV
– JDBC (PostgreSQL, MySQL, Oracle)
谢谢各 位!
•
世界会向那些有目标和远见的人让路 。。15: 22:3515 :22:351 5:223/ 22/2022 3:22:35 PM
•
差之毫厘,谬以千里。—宋·陆九渊。 22.3.22 15:22:3 515:22 Mar-222 2-Mar-22
•
凡能独立工作的人,一定能对自己的 工作开 辟一条 新的路 线。。1 5:22:35 15:22:3 515:22 Tuesda y, March 22, 2022
Content sources storing documents, emails, books, articles, web pages, etc.
Relational Database
Filesystem
NoSQL Database
Third-Party Content Feeds (XML, HTML, ZIP,
关键特性: 内置异常恢复/HA功能
分区就是复制的单位 事务复制操作(不是更改记录)使用 Active/Active 同步复制方式 应用只有在所有复制节点都提交(或者 回滚)后才会收到成功(或者失败)的 响应
9
关键特性: 基于网络的数据库集群复制
VoltDB包括一个网络复制Agent 这个Agent将事物异步从主集群(可读可 写)复制到备集群(只读) 异步的方式最大限度容忍网络可能出现 的问题
• 评价:给用户带来前所未有的商业价值
VoltDB Proprietary
28
大数据厂商联盟分销推荐产品
分析 平台 层
NO SQL
数据 抽取 集成 层
Hasoop优 集群优化 化层
性能优化
性能优化
快速部署
安全管理
平台优化 29
•
即使道路坎坷不平,车轮也要前进; 即使江 河波涛 汹涌, 船只也 航行。 。22.3.2 222.3.2 2Tuesday, March 22, 2022
orders clicks
impressions
Analytic results enrich decision making
Velocity OLTP
Recommendation
Click Stream
Personalization
User Mgt.
Traditional OLTP
Cart Inv
•
你的形象价值百万。。2022年3月22日 星期二 下午3 时22分3 5秒15: 22:3522 .3.22
•
赚钱之道很多,但是找不到赚钱的种 子,便 成不了 事业家 。。202 2年3月 下午3 时22分2 2.3.221 5:22M arch 22, 2022
•
严禁违章操作,确保安全生产。。202 2年3月 22日星 期二3 时22分3 5秒15: 22:3522 March 2022
etc.…)
Query across disparate content repositories Dynamically render and deliver content in multiple formats
Editors , Conten t Curato rs
Search, reuse, repurpose content
入站 HTTP 请求
在线游戏小额交易 支付
在线游戏
电子广告兑换服务
实时广告交易系统
访问者登陆、分析、警告
流量图形分析
等级分数 •定义的间隔执行 •玩家 “最好成绩”
排行榜状态查找
匹配形式因素,下单规范, 竞价/询价
报告广告效能
基于位置的无线 服务
无线设备位置感应器
位置更新,服务品质,事物 处理
事物处理上的数据分析
9
8
7
6
Avg. Latency (ms)
5
4
3
2
1
0
-50000
0
VoltDB 3.0 Key/Value Various read/write workload 3 Node, K=1 (high available) Cluster
10% read/90% write 50% read/50% write 90% read/10% write
现代公司的信息量往往大爆炸 种类 容量 速率企业数据被储存在孤立的数据 仓库 中