• Executor 启动业务模块
生成执行计划DAG 提交Fuxi Job
MaxCompute元数据模型
01 基本原理概述 02 运维监控 03 数据安全 04 数据质量 05 常见问题与案例
监控痛点与解决 ➢ DataWorks标准版及以上版本，才可以使用基线实例、基线管理和事件管理功能
简单模式空间
（单项目模式）
➢ 开发生产环境一体化
• 提交 • 创建发布包 • 执行发布
MaxCompute开发环境 • SQL编辑 • 配置业务流程、调度策略
所有表的权限
MaxCompute生产环境 • 执行任务调度
无法授权DataWorks角色 默认无任何数据操作权限
开发角色
MaxCompute架构
MaxCompute客户端
REST API
SDK CLT IDE
云账号 服务
MaxCompute接入层 HTTP Server
1第 层 2第 层
MaxCompute逻辑层
MetaStore （OTS）
Worker Worker
...
SQL Planner
Scheduler
Executor Executor
acl授权，role、项目空间数据保护、跨项目空间资源分享 （package）等
MaxCompute项目内部安全管控
贴近业务场景 根ACL和Policy搭配
使用效率高
列级别权限 细粒度安全管控
用户多因素验证（MFA） RAM账号体系
按需授权 精准管理
批量授权 动态管理 策略灵活
MaxCompute跨项目安全管控
定向授权，保障 数据使用范围
满足业务需要的 安全白名单策略
建立项目的 安全防护水位
对跨项目访问 进行管理收口
对统一安全水位的 项目进行联通
数据保护伞架构
政府
制造业
医疗
保险
基金
银行
互联网科技
懂你的数据
智能识别数据安全风险
合规审计
隐私数据防护能力
敏感数据识 别
分级分类
操作监控
风险识别与 预警
数据风险审 计
8.根据task类型和版本
12.结束 10.提交Fuxi job
找到相应的服务子进
程处理
SQL_versionXX
12.结束
Process
Fuxi job
11.执行SQL runtime
• Worker 响应请求
创建Instance 同步任务处理，异步任务提交
9.编译优化SQL script
• Scheduler 异步任务调度 分键Task 任务排队
控制集群
用户中心
6.持久化请求、作业排队、调度作业
Scheduler
计算集群
2.用户鉴权
5.发送异步执行请求 7.提交task任务请求
12.结束
1.提交请求 HTTPServer/ Frontend
5.1返回提交成功
machinex
Executor
3.转发 请求
OdpsWorker
4.解析请求、API鉴权等
01 基本原理概述 02 运维监控 03 数据安全 04 数据质量 05 常见问题与案例
权限管理
技术负责人 研发人员
账号所有者
➢ 项目管理员： 除拥有开发角色和运维角色的全部权限外， 还可以进行添加/移出工作空间成员并授予 角色，创建自定义资源组等操作。
运营/销售人员 项目管理员
➢ 开发： 负责数据开发页面的设计和维护工作。
数据脱敏
数据水印
全量日志
内容识别模型
图计算 模型计算层
UEBA模型
匿名化技术
MaxCompute
DataWorks
01 基本原理概述 02 运维监控 03 数据安全 04 数据质量 05 常见问题与案例
数据质量工作流程 我们需要的是可以满足业务需要的高质量数据，因此对与来自四面八方的数据，设 置质量把控，必不可少！
公有云大数据运维实践
01 基本原理概述 02 运维监控 03 数据安全 04 数据质量 05 常见问题与案例
公有云大数据基础数据链路架构图
DataWorks项目空间
标准模式空间
（双项目模式）
DataWorks工作空间
➢ 开发环境：仅用于开发、无调度 ➢ 生产环境：仅用于 任务调度 优点：
代码变更：减少修改入口，增加权限控制 计算资源：开发环境不调度，较少资源争抢 权限控制：收紧开发环境权限体系
...
MaxCompute存储/计算层
MR Job SQL Job
...
Pangu
Fuxi
3第 层
➢ 运行在控制集群，主要负责用户空间和 对象的管理、Query和命令的解析与启 动、数据对象的访问控制与授权等功能， 由Worker、Scheduler和Executor三个角色
4第 层
MaxCompute任务调度流程
项目空间状态检查
支持 云账号 和 RAM账号 两种账号体系
项目空间整体保护： Setproject.odps.security.ip.whitelist= 101.132.236.123,100.116.0.0/16
平台底层运营&运维
Label Security 检查
权限管理
LabelSecurity是项目空间级别的一种强制访问控制策略， 可以更加灵活地控制用户对列级别敏感数据的访问。
基线告警
ቤተ መጻሕፍቲ ባይዱ基线
基线路径任务
预计完成时间
出错
变慢 预警
破线
事件告警
基线预警
➢ 事件监控范围：只有基线路径上的任务才会被纳 入基线监控范围（包括关键路径与非关键路径）
➢ 基线事件：事件监控范围中的任务出错与变慢
➢ 基线预警：不论任何原因，基线的预计完成时间 超过预警时间
➢ 基线破线：不论任何原因，基线的预计完成时间 超出承诺时间
➢ 运维： 负责在运维中心页面管理全部任务的运行情 况并进行相应处理。
开发
DataWorks 角色体系
部署
➢ 部署： 仅在多工作空间模式时审核任务代码并决定 是否提交运维。
运维
安全管理员
➢ 安全管理员： 仅有数据保护伞模块的操作权限。
MaxCompute安全模型
身份认证
请求源检查 （IP白名单）
数据质量依托DataWorks平台，提供全链路的数据质量方案，包括数据探查、对比、质量监控、 SQL扫描和智能报警等功能。
基线设置 节点数:12 / 产出节点:K
➢ 设置基线&业务承诺时间 ➢ 反推各任务最晚启动时间 ➢ 识别关键路径 ➢ 根据任务实际运行情况，动态调整关键路径
➢ 基线：承诺产出的任务节点（天/小时） ➢ 承诺时间：基线任务需要保障的时间点 ➢ 预警时间：承诺时间的预警余量（最长120min） ➢ 关键路径：完成基线过程中的最长路径