LAXCUS大数据管理系统介绍
LAXCUS大数据技术实验室 - 北京
体系架构
产品特点
• 多集群多用户多任务数据管理系统 • 一体化设计、全功能实现、一站式数据处理 • 100%自主知识产权 • 集群规模：百万台计算机节点 • 数据规模：EB级存储和计算 • 集成云管理、大数据、数据库、中间件、中间件服务器五
维护管理不足
Laxcus
一个技术团队的全体系设计研发 一套体系化大数据产品 内部集成所需功能 通过功能内聚和协同解决兼容问题 一键安装，简单配置 全体系设计研发，功能内聚，长期运行 检验测试，保证产品高稳定性和可靠性 可视化和交互式操作，解决易用性难题 体系化安全管理，细化到每个处理环节 组件编程，将分布计算内置和规范化， 降低开发难度 提供多种维护管理方案，随时随地监控 集群运行。另外还提供定制服务。
码位计算器 Scan/Sift算法 流式处理
数据分区范式。将集群数据按照属性需求，分割出不同 片段。数据分区可以按照系统默认规则处理，也可以由 用户自定义规则处理。此方案简化了程序员编程，提高 分布计算过程数据散列、分配、组织的灵活性。
ETL算法。是在集群即有数据的基础上，提供数据优化、 整理、重组的能力。起着分布计算加速器的作用。
磁盘数据定位算法。相比关系数据库的二叉树查找，本 算法只需要一次计算就可以驱磁头找到到数据所在的扇 区，能够有效减少磁盘IO次数，降低数据处理在磁盘层 面的延迟，大幅提高分布计算整体效率。
逻辑上隔绝物理上共享的安全通信方案。特点是网络通 信安全管理被细化到每一个网络连接，且保证一个连接 的安全故障不影响同一台物理计算机上其它网络连接的 正常工作。
重点和核心技术介绍（一）
技术名称
说明
Laxcus集群架构 异域并行集群 Cabin策略
以节点为基本单位的分布架构，按照业务需求和功能进 行组织划分，具备极强的稳定性、可靠性、可伸缩和冗 余管理能力，个别节点的故障不影响集群整体运行和用 户使用。
将分布在不同地址位置的集群，通过网络组织起来，形 成更大的分布式集群。此方案拓展了可计算数据的存储 和计算规模，有效节约计算管理资源，提升计算速度。 特点适合网点分散、数据分散、处理规模巨大，需要统 一管理和处理的数据业务。
技术名称
即时计算
分布任务组件
重点和核心技术介绍（四）
说明
结合分布数据实时映像和即时存取两项技术，实现了大 数据的完全实时处理，达到了集中式数据库的响应级别， 解决了此前其它大数据软件的数据延迟生效和延时响应 问题。此项技术是对当前大数据技术的一项重要突破， 尤其对于需要实时处理的数据处理业务，具有重大意义。 对于用户来说，他们在设计大数据处理业务时，不必再 有在线与离线的纠结。 借鉴BS架构的中间件概念，结合集群架构的分布算法， 设计成在集群架构中运行的分布中间件模型，并对程序 员提供规范化的二次开发接口，使分布数据计算 （DIFFUSE/CONVERGE）和数据构建（SCAN/SIFT） 实现标准化处理。特点和优势：结构简单清晰、易于理 解和学习，简化编程开发，减少程编和运行中的出错概 率，提升稳定性和开发效率。所有大规模数据处理业务 都可以在这个框架下编写代码和运行。
单集群 是 否 PB --
-TCP/IP 弱
--
---
单集群 否 是 PB
键值对
否 TCP/IP 弱 Map/Reduce -外层
-否 是 GB
行存储
是 TCP/IP 弱 --底层
Laxcus
多集群 是 是 EB 行存储、列存 储 是 TCP/IP 强 Diffuse/Conver ge Scan/Sift 底层
大领域技术和功能 • 运行、开发、调试、部署、维护管理为一体平台 • 遵循LGPL协议，开放源代码
当前产品不足和解决结果
当前大数据产品 多个技术团队的模块化设计研发 多种模块化大数据产品 功能分散 产品之间兼容性差 用户积木式搭建，组织部署困难
稳定性和可靠性低 易ห้องสมุดไป่ตู้性不足 安全管理欠缺 开发成本高
• 互联网 • 物联网 • 公有云、私有云 • 商业大数据 • 人工智能 • 超级计算机 • 工业智能制造
应用领域
与当前主要产品的对比（一）
功能/产品名称 Open Stack
Hadoop
关系数据库
集群规模 支持虚拟化 数据可计算 数据存储量
数据存储模型
支持关系数据 网络通信 安全管理
分布算法
ETL算法 SQL支持层面
与当前主要产品的对比（二)
功能/产品名称 Open Stack
Hadoop
关系数据库
检索方式 支持分布锁 支持事务 支持存储过程 集成中间件 开发方案 管理操作模式
----否 API编程 交互
键值对检索 是 --否 API编程 交互
逻辑关系检索 -是 是 否 API编程 交互
Laxcus
逻辑关系检索 是 是 是 是 组件编程 交互
重点和核心技术介绍（二）
技术名称
说明
FIXP通信协议
Diffuse/Converge算 法
二进制网络通信协议。具有格式紧凑，解析速度快，根 据网络MTU自动分片能力。能够有效降低网络传输负荷 和重传概率，是保证大数据稳定传输的基础。
分布计算算法。为分布数据处理业务提供一个规范化的 分布处理规则，是Laxcus大数据管理系统最核心的功能 之一。
数据计算的加速方案。特点是数据处理过程中，避开硬 盘IO这道瓶颈，将数据处理工作置于网络、内存、CPU 之间进行。对比基于硬盘的数据计算，流式处理的计算 时间可以缩小1-2个量级。适合时间敏感的数据处理业务。
技术名称
行列数据混合存储 网络分支定位 磁盘快闪算法 多令牌信息安全
重点和核心技术介绍（三）
虚拟化技术。允许任意数量的用户共享计算机集群资源。 允许一个用户并行任意数量的计算任务，在这些并行任 务中，视不同业务的需要，提供资源共享或者独享支持。
Invoke/Produce机制
整合松耦合架构、异步工作、网络和计算机自适应机制 的集群管理方案。能够对集群的各种数据、计算机物理 资源实施实时监控，防止和杜绝网络和计算机的超载现 象，将所有计算工作置于一个许可的规定范围内。对延 长硬件使用寿命具有重要作用。
说明
一套系统中共存的两种存储方案。用户按照自己业务需 求，可酌情选择行存储或者列存储中的一种，或者兼而 有之。两种存储方案都支持关系型数据和逻辑关系检索。 是系统最核心的功能之一。此数据存储方案目前只有 Laxcus实现。 针对网络分布资源的快速定位算法。通过一次散列计算， 在毫秒级时间内，把数据请求导向实际数据所在的计算 机节点。