-
Getting-Started
日志服务(Log Service)是阿里云提供的,针对海量日志收集、存储、查询的平台化服务。
你可以使用日志服务来集中收集服务集群中所有的日志,并支持实时消费,实时查询和导入到阿里云大数据处理服务ODPS做更进一步分析。
本章将仔细介绍如何快速地开始使用日志服务。
视频版本:阿里云日志服务快速指南
准备开始
创建阿里云账号
登陆 ,点左上角"注册"创建阿里云账号。
准备秘钥对
开通日志服务后,通过产品主页,进入管理控制台,点右上方"钥匙"图标,创建密钥对(Access Key),状态设置为"启用"。
(Access Key是Logtail收集日志数据的必要条件)。
启用
开通日志服务
使用注册成功的阿里云账号登陆,点左上角"产品",在"应用服务"中找到点左上角"产品",在"应用服务"中找到日志服务进入产品主页,开通日志服务。
--
-
理解基本概念
为更好的继续下面的操作,你需要简单理解日志服务中的几个基本概念。
项目(Project)为日志服务的基本管理单元。
每个项目位于阿里云的一个区域(Region),且创建后就不能修改区域。
日志库(LogStore)为日志服务的日志存储单元。
每个日志库属于一个指定的Project,且每个项目可以包括多个日志库。
用户可以指定一个日志库中的日志保存时间及如何使用这些日志(例如,实时消费,实时查询,同步到ODPS等)。
Logtail为日志服务提供了一种无侵入的日志写入服务。
它通过在你的机器上安装一个日志收集客户端来监听你所指定的日志文件并自动把新写入到日志文件的日志上传到你所指定的日志库。
目前,该种日志写入服务还只支持ECS 64位Linux云主机和Windows云主机中的日志源,其他日志源可以通过日志服务提供的SDK或者API来写入用户的日志库。
创建项目和日志库
创建项目
当你第一次进入日志服务管理控制台,系统会提示你创建一个项目(以下我们称为Project)。
你也可以通过点击右上角"创建Project"进行操作。
创建Project需要指定"预留写入吞吐容量"与"区域(Region)",请根据你的实际需求进行创建。
创建日志库云盾/快速开始
--在Project创建完成的同时,系统会提示你创建一个日志库(以下称为LogStore)。
你也可以进入该Project,通过点击右上角"创建LogStore"进行操作。
创建LogStore需要指定如何使用这些日志。
写入日志
使用Logtail写入日志
在LogStore创建完成的同时,系统会提示您收集日志数据,这节主要讲通过Logtail进行收集(API及SDK收入在下个小节进行阐述)。
有四个步骤,分别如下:指定日志数据所在操作系统类型、指定日志目录结构、解析日志、应用到机器组。
选择操作系统
指定日志目录结构
--解析日志
应用到机器组(需要先创建机器组)
1.2.-
Logtail配置推送生效时间最长需要3分钟,请耐心等待。
如果需要收集IIS的访问日志,请务必首先参考IIS日志收集最佳实践配置IIS。
使用API写入日志
日志服务提供Rest风格的API帮助用户写入日志。
你可以通过API中的PostLogStoreLogs 接口写入数据。
关于API的完整参考请见API Reference
使用SDK写入日志
除了API,日志服务还提供了多种语言(Java、.NET、PHP和Python)的SDK方便用户写入日志。
关于SDK的完整参考请见SDK 。
消费日志
使用控制台预览日志
日志数据收集到日志服务后,在控制台上可以通过点击特定LogStore的日志消费费方式进入预览界面。
通过指定ShardId和时间预览起始的10个数据包。
下面是一个例子,预览ShardId为0,时间范围最近15分钟的起始10个数据包。
1.2.
使用API消费日志
类似于写入日志,API也提供了相应的消费日志接口GetCursor 和PullLogs 。
关于API的完整参考请见API
使用SDK消费日志
除了API,日志服务还提供了多种语言(Java、.NET、PHP和Python)的SDK方便用户消费日志。
关于SDK的完整参考请见日志服务 SDK 。
投递日志到ODPS
准备ODPS环境
为把日志服务内的日志投递到ODPS,用户需要首先准备好相应的ODPS环境,具体如下
开通ODPS服务。
用户需要在阿里云管理控制台上启用ODPS服务。
创建存储投递日志的ODPS表。
请参考投递日志到ODPS 了解表的结构和相关注意事项。
创建ODPS投递规则
日志服务提供把日志数据离线投递到ODPS的功能,用户需要在管理日志数据消费模式界面指定日志数据投递的ODPS Project、Table名称和表对应列映射关系等属性,并确认授权日志服务写Table权限。
1.2.3.
查看ODPS投递任务
在管理控制台ODPS投递任务管理中可以查看投递任务导入状态,当日志导入成功后,你可以通过ODPS管理控制台进行数据查看。
另外,投递日志到ODPS 解释如何在ODPS里解析、使用导入的ODPS表。
投递日志到OSS
准备OSS环境
为把日志服务内的日志投递到OSS,用户需要首先准备好相应的OSS环境,具体如下
开通OSS服务。
用户需要在阿里云管理控制台上启用OSS服务。
创建OSS Bucket并进行相关授权操作。
请参考投递日志到ODPS 了解具体步骤和注意事项。
仅支持将数据投递至与日志服务project相同region的OSS Bucket,比如"华东 1 (杭州)"的日志服务project只能将数据投递至杭州的OSS Bucket。
-创建OSS投递规则
日志服务提供把日志数据投递到OSS的功能,用户需要在管理日志消费模式界面指定日志数据投递的OSS Bucket、权限控制台的角色名称(ARN)和是否压缩等属性。
查看OSS投递任务
在管理控制台OSS投递任务管理中可以查看投递任务导入状态,当日志导入成功后,你可以通过OSS管理控制台进行数据查看。
另外,投递日志到OSS 解释如何使用导入生成的数据。
查询日志
使用控制台查询日志
日志数据收集到日志服务后,在控制台上可以通过点击特定LogStore的日志索引消费方式进入查询界面。
通过指定日志主题Topic(现阶段只有通过API写入的日志才可能有Topic)、关键字、时间进行查询操作。
直方图中,绿色表示在此时间范围内数据精确,黄色表示在此时间范围内数据不精确。
可以通过点击或者拖拽黄色直方图部分进行再次查询。
不精确的日志数据不会在"匹配日志"中返回。
下面是一个例子,查询条件为空,时间范围最近15分钟。
使用API查询日志
类似于写入日志,API也提供了相应的查询日志接口GetLogs和GetHistograms。
关于API的完整参考请见API 使用SDK查询日志
除了API,日志服务还提供了多种语言(Java、.NET、PHP和Python)的SDK方便用户查询日志。
关于SDK的完整参考请见日志服务 SDK。