MRv1的局限性
YARN是在MRv1基础上演化而来，它克服了MRv1中的各种局 限性
扩展性差 MRv1中，JobTracker同时兼备了资源管理和作业控制两个功能 可靠性差 MRv1采用了master/slave结构，master存在单点故障问题 资源利用率低 MRv1采用了基于槽位的资源分配模型，槽位是一种粗粒度的资 源划分单位； 通常一个任务不会用完槽位对应的资源，且其他任务也无法使用 这些空闲资源 无法支持多种计算框架 不能支持新的计算框架：包括内存计算框架、流式计算框架和迭 代式计算框架
无法加载本地hadoop库：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform 如果要使用native library，只能从Hadoop源码重新编译生成 binary安装文件 只是想不输出这个WARN信息的话，在core-site.xml中配置 hadoop.native.lib的值为false即可 重新编译方法： /docs/current/hadoop-projectdist/hadoop-common/NativeLibraries.html
以YARN为核心的生态系统
以MapReduce为核心和以YARN为核心的软件栈对比
轻量级弹性计算平台
以YARN为核心的弹性计算平台的基本架构
轻量级弹性计算平台
共享集群模式的好处：
资源利用率高
运维成本低
数据共享
欢迎访问我们的控制台查看任务记录情况
http://192.168.136.101:8088
常见问题及解决
运行APP时内存不足
确保yarn-site.xml文件中的yarn.scheduler.maximumallocation-mb参数大于mapred-site.xml中的 yarn.app.mapreduce.am.resource.mb参数
Hadoop大数据解决方案进阶应用
YARN资源管理系统(1)
Hadoop
讲师：迪伦（北风网版权所有）
课程目标 集群测试 YARN产生背景 YARN基本设计思想
集群验证
使用Hadoop自带的WordCount例子进行验证
$ hadoop fs -mkdir -p /data/wordcount $ hadoop fs -mkdir -p /output $ hadoop fs -put ~/hadoop2/etc/hadoop/core-site.xml /data/wordcount/ $ hadoop fs -ls /data/wordcount $ hadoop jar ~/hadoop2/share/hadoop/mapreduce/hadoopmapreduce-examples-2.2.0.jar wordcount /data/wordcount /output/wordcount $ hadoop fs -cat /output/wordcount/part-r-00000 | head