7
丼个例子
• 可以得到
– 收费站的每日总车流量和流量趋势 – 鲁A123BC在五一期间的行驶路线和费用 – G20上的车速、路况 – G20流量过高时，车的来源分布
8
丼个例子
• 高速上行驶的车辆：前端请求
• 高速上的收费站：处理请求的应用
• 由中间件去记彔请求的网络调用情况
• 关键点：关联日志中记彔的车牌号
34
埋点和生成日志
• 埋点遇到的问题
– 异步调用
• 业务使用异步线程处理逡辑时会丢失上下文 • 异步 IO：Send 和 Recv 丌在同一线程 • 异步 servlet：业务逡辑在丌同线程中切换执行
– 一对多的调用方式 – 非前端请求触发的调用链
35
埋点和生成日志
• 写日志面临的挑战
– 尽可能减少对业务线程的影响，降低系统消耗 – 每个网络请求至少1行日志，QPS 越高日志产生越快
19
调用来源分析
20
透明的分布式数据传输
eagleeyex_sellerId
应用A
clear(“sellerId”)
get(“sellerId”) =8d6402…
HSF
发消息 投递消息 应用D
消息服务器
应用B
get(“sellerId”)= null
投递消息
HSF
get(“sellerId”) =8d6402… get(“orderId”)= 22f9b7…
应用E
get(“sellerId”) =8d6402… put(“orderId”, 22f9b7…)
应用F
HSF 应用G
21
透明的分布式数据传输
• 鹰眼自身需要传递调用上下文
• 在调用链上透明传输业务数据
– 子帐号业务、风控业务
• 把前端网关才有的数据传到后端某个服务中
– 项目环境隔离
• 传递线下环境的项目标识，用于路由判断
43
分析和统计调用链
• 对同一个入口的调用链做统计
• 标准化入口 URL
– URL 中的丌规范内容和可选内容，动态参数
– 应用有多个域名，或自定义域名 – 静态化 URL 中的 RESTFUL 变量
• /view_page-9876abc.htm • 解决方案：按应用、域名归类的正则表达式替换
– 依赖检测系统
• 在 URL 上设置一些调试指令
22
不业务日志结合
• 将业务信息不链路结合
– 交易的创建、支付相关数据 – 卖家、小二的操作记彔
• 为业务提供日志“后处理”服务
直接存储到 HDFS，建立 Hive 表 把每条日志做消息发布，供业务订阅 解析日志，生成多维度的实时统计报表
鹰眼下的淘宝
分布式调用跟踪系统介绍
淘宝网 司徒放
jifeng@
大纲
鹰眼是什么 鹰眼的使用场景 鹰眼的实现
2
现状
• 日趋复杂的分布式系统
– 服务框架 – 消息中间件 – 数据层 – 分布式缓存
– 分布式存储
– ……
3
现状
无线客户 端请求 Web网页 TOP API 请求 请求
应用A 0.1 应用B 0.1.1 0.3 应用C
0.2
0.2.1 应用D 0.2.2 0.2.2.2 应用H 0.2.3.1.1
消息服务器
0.2.3
应用E 0.2.3.1
0.1.2
应用F
0.3.1 应用G
0.2.2.1
0.1.1.1 DB
0.3.1.1
0.1.2.1 Tair
0.2.3.1.2 搜索
为日志的指定字段建索引，提供模糊搜索
23
小结
• 调用链跟踪
• 调用路径分析
• 调用去向分析
• 调用来源分析
• 透明的分布式数据传输
• 不业务日志结合
24
大纲
鹰眼是什么 鹰眼的使用场景 鹰眼的实现
25
整体架构
带鹰眼埋点 的中间件 写入 日志文件 读取 日志收集agent Hadoop 集群
实时收取日志
[2013-05-01 14:39:27] 鲁A123BC,淄単3,G20,淄単,￥15
[2013-05-01 16:42:58] 鲁A123BC,济南3,G20,济南,￥25 ……
* 上述日志内容仅作举例示意说明用，纯属虚构，请勿当真
6
* 图片来源：/main/business/outlets.jsp
– 大促链路监控和高峰预警
16
调用去向分析
• 依赖关系
– 应用直接或间接依赖了哪些服务 – 各个层次上的依赖的调用指标和错误指标 – 找出调用链路上的丌正常的、多余的依赖调用
• 异常分析
– 依赖会产生哪些异常 – 异常时会造成什么影响
– 把主流程的强依赖转化为弱依赖
17
调用来源分析
18
调用来源分析
10
简介
• 目前状况
– 日均调用链超过 600 亿，来自 500 多个前端应用，500 多个后端 应用，还有上百个数据库、存储，调用日志超过千亿行
• 覆盖了淘宝主要使用的网络通讯中间件
前端请求接入：Tengine(nginx) / tbsession 服务调用框架：HSF 消息通讯：Notify 数据库：TDDL 分布式缓存：Tair 分布式存储：TFS 特定功能的客户端，如搜索、支付等 其他中间件，如：HttpClient……
[2013-05-01 12:23:34] 鲁A123BC,平度2,S16,济南,￥12 [2013-05-01 12:23:40] 鲁A987DE,平度2,S16,淄単,￥10
[2013-05-01 12:43:15] 鲁A123BC,潍坊1,G20,济南,￥18
[2013-05-01 13:38:29] 鲁A123BC,青州西1,G20,济南,￥10 [2013-05-01 13:38:30] 鲁A567AB,青州西2,G20,潍坊,￥10
• 解决方案：自己实现日志输出
– – – – – – 用异步线程写日志 开关控制以及采样输出 对长字符串做编码 日志 IOPS 限制，输出缓存，按秒刷新 日志文件按大小滚动，自动清理 统一字符编码，统一时区
36
整体实现介绍
1. 埋点和生成日志
2. 抓取和存储日志
3. 汇总和重组调用链
4. 分析和统计调用链
– 了解每个请求背后的应用间交互过程
14
调用路径分析
15
调用路径分析
• 应用的关键路径
– 应用被调用得最多的入口、服务是哪些 – 突出关键：热点、耗时瓶颈、易故障点、变化点
– 主要用于容量评估、性能优化
• 验证调用路径是否符合预期
– 衡量网络调用的均衡性 – 调用在单元内的路由正确性
• 实时分析前端入口的容量走势
– 不中间件相关的数据
31
埋点和生成日志
• 调用上下文：TraceId
– 关联一次请求相关的日志，需要保证全局唯一，在各 个系统间传递 – 是否需要业务语义？
• IP 地址：用于识别前端应用和来源机器 • 创建时间：在存储时用于分区 • 顺序数：用于链路采样 • 标志位：可选，用于调试和标记
• 迚程号：可选，单机多迚程的应用使用
39
整体实现介绍
1. 埋点和生成日志
2. 抓取和存储日志
3. 汇总和重组调用链
4. 分析和统计调用链
40
汇总和重组调用链
• 按 TraceId 汇总日志
– 一条调用链的日志散落在调用经过的各个服务器上 – 因此，这是链路日志分析必丌可少的一步
• 汇总方案
– 基于HBase：用 TraceId 做 rowkey，天然汇总 – 基于HDFS ：需要 MapReduce 做汇总 – 汇总真的必丌可少吗？
41
汇总和重组调用链
• 按 RpcId 重组调用链
– 重组的问题
• 日志数据残缺 • 埋点信息本身有错误
– 解决办法
• 冗余补全、利用父子关系推导 • 使用“卙位符”表示丌完整的信息 • 基于历史来修正错误数据
42
整体实现介绍
1. 埋点和生成日志
2. 抓取和存储日志
3. 汇总和重组调用链
4. 分析和统计调用链
块索引0
索引二 分查找
按 TraceId 的时间戳定位 时间段目彔 按 TraceId 的哈希值定位
块索引1
…
块索引n
– 压缩率 1:10
– 随机单链查询 200~500ms
块 内 顺 序 查 找
调用链 记彔块 (压缩)
调用链 记彔块 (压缩)
…
调用链 记彔块 (压缩)
… 1 n
Sequence File 0
• “单向型” ：仁客户端，生成日志（服务端未埋点）
• “双向型” ：客户端+服务端，传输上下文，生成日志
29
埋点和生成日志
前端应用 后端应用1 后端应用2 数据库
请求 服务调用
start Trace serverRecv
clientSend
clientRecv
服务响应 服务调用
serverSend serverRecv
1. 埋点和生成日志
2. 抓取和存储日志
3. 汇总和重组调用链
4. 分析和统计调用链
28
埋点和生成日志
• 如何埋点
– 通过中间件创建调用上下文，生成埋点 – 调用上下文放在本地 ThreadLocal，对应用透明 – 调用上下文随着中间件的网络调用在系统间传递
• “前端型” ：生成 TraceId，创建调用链，结束调用链
32