当前位置:文档之家› hadoop启动模式、基本配置、启动方式

hadoop启动模式、基本配置、启动方式

Local (Standalone) ModeMapReduce程序运行在本地,启动jvm启动本地模式:1、配置hadoop-env.sh配置文件中的java_home路径2、在hadoop安装目录下:mkdir input3、在input目录下创建任意文件4、统计input文件夹下所有文件中的单词的数量:bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount input outputPseudo-Distributed Mode1、配置etc/hadoop/core-site.xml:##配置namenode所在主机<configuration><property><name>fs.defaultFS</name><value>hdfs://bxp:8020</value></property></configuration>##配置文件临时目录<configuration><property><name>hadoop.tmp.dir</name><value>/usr/lib/hadoop-2.5.0-cdh5.3.6/data/tmp</value></property></configuration>2、配置etc/hadoop/hdfs-site.xml:##配置文件备份数量<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>3、格式化文件系统bin/hdfsnamenode -format4、启动namenodesbin/hadoop-daemon.sh start namenode4、启动datanodesbin/hadoop-daemon.sh start datanode5、浏览器访问:http://bxp:50070,查看hdfs6、命令行创建hdfs文件目录:bin/hdfsdfs -mkdir -p/user/bxp/mapreduce/wordcount/input7、命令行查看hdfs文件系统目录结构:bin/hdfsdfs -ls -R /8、上传文件到hdfs文件系统:bin/hdfsdfs -put input/test/user/bxp/mapreduce/wordcount/input(下载的命令为get,查看为cat)9、运行bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/bxp/mapreduce/wordcount/input/user/bxp/mapreduce/wordcount/output10、查看运行结果:bin/hdfsdfs -cat /user/bxp/mapreduce/wordcount/output/part-r-00000 此时运行的结果和本地启动时运行的结果相同,不同的是输入的数据源一个是在本地,一个是在hdfs文件系统中。

当在etc/hadoop/core-site.xml中配置文件系统时,回去寻找文件系统,当没有进行配置,默认会去寻找本地文件系统(file:///):YARN on Single Node1、在etc/hadoop/yarn-env.sh中配置JAVA_HOME2、配置etc/hadoop/yarn-site.xml:<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property></configuration>3、在etc/hadoop/slaves文件中配datanode和nodemamager所在主机的主机名或ip(默认datanode和nodemanager在同一台主机上)localhost4、启动yarnsbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start nodemanager5、浏览器查看yarn的监控界面:80886、接下来进行将mapreduce程序运行在yarn上的配置.7、配置etc/hadoop/mapred-env.sh中的JAVA_HOME8、重命名mapred-site.xml.template为mapred-site.xml并配置etc/hadoop/mapred-site.xml##将mapreduce运行在yarn上,默认值是local<configuration><property><name></name><value>yarn</value></property></configuration>9、运行bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/bxp/mapreduce/wordcount/input/user/bxp/mapreduce/wordcount/output10、查看运行结果:bin/hdfsdfs -cat /user/bxp/mapreduce/wordcount/output/part-r-00000 此时的运行结果不变,不同的是之前的mapreduce程序运行在本地,此时的mapreduce程序运行在yarn上Fully-Distributed Mode启动mapreduce历史服务器sbin/mr-jobhistory-daemon.sh start historyserver配置yarn日志的聚集聚集:应用运行完成以后,将日志信息上传到HDFS文件系统中在etc/hdoop/yarn-site.xml中增加属性###配置日志聚集<property><name>yarn.log-aggregation-enable</name><value>true</value></property>###配置日志在文件系统中存放的秒数(604800为7天)<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>配置完成后需要将resourcemanager和mapreduce历史任务进行重启才会生效sbin/yarn-daemon.sh stop resourcemanagersbin/yarn-daemon.sh stop nodemanagersbin/mr-jobhistory-daemon.sh stop historyserversbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start nodemanagersbin/mr-jobhistory-daemon.sh start historyserverHadoop配置文件∙默认配置文件,在share/hadoop四个模块相对应的jar包中core-default.xmlhdfs-default.xmlyarn-default.xmlmapred-default.xml∙自定义配置文件,在etc/hadoopcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml\每次启动程序的时候,系统会首先加载jar包,读取jar包中的默认配置,之后才会读取用户自定义配置,用户自定义配置会覆盖默认配置。

一般在配置的时候,会在官方文档和默认配置文件中查找配置信息,默认配置中会有对配置属性的描述。

配置HDFS垃圾回收时间(分钟)在core-site.xml配置文件中进行增加属性<property><name>fs.trash.interval</name><value>7*24*60</value></property>hadoop启动的三种方式∙各个服务组建逐个启动o hdfshadoop-daemon.shstart|stopnamenode|datanode|secondarynamenodeo yarnyarn-daemon.sh start|stopresourcemanager|nodemanager o mapreducemr-jobhistory-daemon.sh start|stophistoryserver∙各个模块分开启动o hdfsstart-dfs.shstop-dfs.sho yarnstart-yarn.shstop-yarn.sho mapreducemr-historyserver-daemon.sh start|stophistoryserver分模块启动,他的启动方式是:启动命令在主结点上运行,然后通过ssh协议去链接自己和相关将要启动的从结点,从而逐个启动。

使用ssh协议时每次都需要输入密码。

所以需要配置ssh无密钥登陆。

配置无密钥登陆:(客户端生成公钥和私钥,将公钥给将要链接的机器)1、客户端生成密钥。

相关主题