当前位置:
文档之家› 机器学习概述及其在运维中的应用
机器学习概述及其在运维中的应用
0.08
月均断电次 数 0.58 1.75 0.83 2.17 0.58 … 0.17
月均低压次 数 0 0.17 0.33 0.67 0
0.17
月均退服次数
0 0 0.08 0 0 … 0.08
月均断电时 长 0 0 1.73 0 0
0.49
容量/负载比
33.09 25.59 18.97 17.19 18.42
10.82 5.67
选取212个站点数据,其中电池性能好站点114个, 电池性能差站点98个。
分别计算性能好与性能差电池统计特性,7项指 标均存在差异,部分指标差异明显。
4.1.1 电池性能影响因素分析(4/4)
因电池性能差别导致均值存在差异,但80%个体无法利用单个指 标进行性能划分。
3. 常规数据小时级记录, 告警数据分钟级记录, 积累海量数据。
电池配置率高
放电曲线差异大
监控覆盖全
研究背景
注:运维监控及 电信2.0监控系统 界面
4.1 电池性能预测
4.1 电池性能预测
4.1.1 电池性能影响因素分析(1/4)
停电频率
低压频率
使用年限
环境温度
负载电流
退服次数
停电时长
4.1.1 电池性能影响因素分析(2/4)
每年放电耗费里程12.5万公里,可绕
地球3.1周,相当于10亿杯香飘飘
奶茶的高度。
算一算,你所在省份是多少?
4.1 电池性能预测
仍然以江苏为 例运维系统内站址 9.3万个;
放电试验分批次开展操作耗时0.5小时 计算(含路上耗时)
每年操作耗时4.2万小时,相当于 4.7年。
分析江苏某地市4-8月电池劣化退服数 据,共计4011分钟,月均退服501.4 分钟。
02.中文屋测试
由美国哲学家John Searle于20世 纪80年代初提出
想象一位只说英语的人身处一个 房间之中,他随身带着一本写有 中文翻译程序的书。
房间中的人可以使用他的书来翻 译这些文字并用中文回复。虽然 他完全不会中文,房间里的人可 以让任何房间外的人以为他会说 流利的中文。
1.2.2 科学狭义定义
月均高温次数 月均断电次数 月均低压次数 月均退服次数 月均断电时长 容量/负载比
使用年限
取近一年的数据,并进行月度平均 剔除FSU离线及监控模块故障站点
数据 提取资管系统电池使用时间并现场
核实确认
4.1.1 电池性能影响因素分析(3/4)
基站ID
1 2 3 4 5 … 212
月均高温次 数 0.5 0 0 0.25 0
按上面数据预估,江苏13地市,年退
服时长7.8万分钟,相当于54天。
算 一 算, 你 所 在 省 份 是 多 少?
4.1 电池性能预测
是否可以通过现有监控数据对电池寿命进行预测,从而节约放电 时间与成本?
1. 我公司通信基站普遍按照 3小时、重保站点按照7 小时进行备电,现网电池 资产占固定资产比重大。
的时候,已经有人在用马尔科夫链预测股价赚得盆满钵满。
1.1.4 政治竞选
1.2 定义机器学习
智能 学习
A 大众视角定义 B 科学广义定义 C 科学狭义定义
1.2.1 大众视角定义
智能学习就是机器可以完成人类不认为机器可以胜任的事情。
AlphaStar!
1.2.2 科学广义定义(1/2)
无论计算机以何种实现方式,只要特定环境下表现与人类相似,就说这个计算机在该领域 内具备智能。
解决 问题
统计分类、回归分析.
回归、神经网络、支持向量机等
定义
代表 算法
示例
监督学习
3.1 机器学习方式分类
数据不被特别标识,学习模型是为了推断出数 据的内在结构.
解决 问题
关联规则学习、聚类
K-均值算法、Apriori算法
定义
代表 算法
示例
非监督学习
3.1 机器学习方式分类
介于监督学习与非监督学习之间,关注如何利用少 量的标注样本和大量未标注样本进行模型训练。
云端分布式:支持多台计算机上的分布式训练, 包括AWS、GCE、Azure和Yarn集群。可以与 Flink、Spark和其他云数据流系统集成
3.2.3 XGBoost
3.2.3 XGBoost
假设一个目标函数,求该目标函 数的极小值
Xgboost的树是逐渐累加的,每 加1个树都希望性能上的提升。
m
E m
k 1 k
(1 )
wi2
i
3.2.1 人工神经网络
多次初始化随机训练 模拟退火 随机梯度下降
3.2.1 人工神经网络 RBF
SOM
Boltzmann机 卷积神经网络
3.2.2 支持向量机
问题
在样本空间中寻找一个超平 面,将不同类别的样本分开, 哪一个超平面更好?
选择最中间的平面,容忍性好,鲁棒性高,泛化能力最强!
--------- Warren E. Buffett
30多年来在桥水,我们一直在把极度透明和算法决策结合起来, 并发现这样做成效非凡。事实上我相信,不久之后,这种计算机 化决策将变得常态化,几乎和人脑决策一样正常。
--------- Ray Dalio
1.1.3 金融经济(2/2)
一根韭菜的自我修养 当你还在人云亦云打听小道消息,刻苦钻研KDJ、MACD指标
瓶颈问题
2.2 第二次研究热潮
代表流派
取得成就
瓶颈问题
专家系统:存储大量知识经 验,运用专家知识和经验解 决特定灵越问题。
出发点:知识就是力量
DENDRAL专家系统:用于 识别化合物
XCON:用于DEC配置
专家系统适用性十分局限
专家总结出知识给机器太繁 琐,有的知识人类专家不愿 意共享。
2. 每年更新电池所用投资站 整体更新改造投资70% 以上。
1. 电池由于厂家、化学材 料等不同,其放电曲线 存在差别。
2. 日常使用过程中,由于 电池所处温度、放电次 数及深度不同,其放电 曲线差别明显。。
1. 目前我公司基站动环监 控已基本做到全覆盖。
2. 电池电压、电流、环境 温度等均纳入监控范畴
计算机像人类一样,具备自主学习的能力。简而言之,无学习,非智能。
International Conference On
Machine Learning
1.3 为什么要掌握机器学习(1/2)
算法完备
硬件达标
封装便捷
天量数据
神经网络 支持向量机 随机森林 深度学习 贝叶斯网
摩尔定律 云计算 边缘计算 量子计算
无人驾驶
障碍规避 道路识别 油门刹车控制
金融经济
量化分析 自动交易 时间序列
政治竞选
民调预测 竞对分析 选民定位
1.1.1 智能家居
扫地 机器人
智能音箱
个人助理
1.1.2 无人驾驶
Waymo
Drive.ai 阿波龙
1.1.3 金融经济(1/2)
The time to be greedy is when others are afraid, and the time to be afraid is when others are greedy.
技能目标
① 了解Python开发及机器学习开发相关库 ② 根据实际工作场景选用核实算法解决问题
课程目录
1. 什么是机器学习 2. 机器学习发展史 3.机器学习基础及典型算法 4.机器学习在运维中的应用
PART ONE
什么是机器学习
1.1 身边的机器学习
智能家居
扫地机器人 智能音箱 个人助理
3.2.2 支持向量机
目标函数:arg min 1 || w ||2
2 s.t. yi (wT xi b) 1, i 1, 2,3...m
问题
在样本空间中寻找一个超平 面,将不同类别的样本分开, 哪一个超平面更好?
选择最中间的平面,容忍性好,鲁棒性高,泛化能力最强!
3.2.2 支持向量机
3.2.3 XGBoost
解决 问题
处理人工合成数据
生成式对抗网络算法
定义
代表 算法
示例
半监督学习
3.1 机器学习方式分类
给予算法一个不断是错,并具有奖励机制的场 景,最终使算法找到最佳路径或策略.
解决 问题
动态系统及机器人控制
马尔科夫决策、蒙特卡洛算法
定义
代表 算法
示例
强化学习
3.2 机器学习典型算法 03. 支撑向量机
2.3 第三次研究热潮
出发点:让机器自己学习
ML is Everywhere!
PART THREE
机器学习基础及典型算法
3.1 机器学习方式分类
01
02
监督学习 半监督学习
非监督学习 强化学习
03
04
3.1 机器学习方式分类
从给定训练数据集中学习一个模型,当新的数 据到来时,根据这个模型预测结果.
给目标函数对权重求偏导,得到一 个能够使目标函数最小的权重,把 这个权重代回到目标函数中,这个 回代结果就是求解后的最小目标函 数值
3.2.3 XGBoost
PART FOUR
机器学习在运维中的应用
4 机器学习在运维中的应用
4.1
42.2
34.3
电池性能预测 发电机油量计算 进站人脸识别
4.1 电池性能预测
Python sklearn TensorFlow Kaggle
Facebook Netflix Taobao Tecent 爬虫技术
1.3 为什么要掌握机器学习(2/2)
PART TWO
机器学习发展史
2.1 第一次研究热潮(1/2)