当前位置：文档之家› hadoop常用命令

hadoop常用命令

启动Hadoop∙进入HADOOP_HOME目录。

∙执行sh bin/start-all.sh关闭Hadoop∙进入HADOOP_HOME目录。

∙执行sh bin/stop-all.sh1、查看指定目录下内容hadoopdfs –ls [文件目录]eg: hadoopdfs –ls /user/wangkai.pt2、打开某个已存在文件hadoopdfs –cat [file_path]eg:hadoopdfs -cat /user/wangkai.pt/data.txt3、将本地文件存储至hadoophadoopfs –put [本地地址] [hadoop目录]hadoopfs –put /home/t/file.txt /user/t(file.txt是文件名)4、将本地文件夹存储至hadoophadoopfs –put [本地目录] [hadoop目录]hadoopfs –put /home/t/dir_name /user/t(dir_name是文件夹名)5、将hadoop上某个文件down至本地已有目录下hadoopfs -get [文件目录] [本地目录]hadoopfs –get /user/t/ok.txt /home/t6、删除hadoop上指定文件hadoopfs –rm [文件地址]hadoopfs –rm /user/t/ok.txt7、删除hadoop上指定文件夹（包含子目录等）hadoopfs –rm [目录地址]hadoopfs –rmr /user/t8、在hadoop指定目录内创建新目录hadoopfs –mkdir /user/t9、在hadoop指定目录下新建一个空文件使用touchz命令：hadoop fs -touchz /user/new.txt10、将hadoop上某个文件重命名使用mv命令：hadoop fs –mv /user/test.txt /user/ok.txt （将test.txt重命名为ok.txt）11、将hadoop指定目录下所有内容保存为一个文件，同时down至本地hadoopdfs –getmerge /user /home/t12、将正在运行的hadoop作业kill掉hadoop job –kill [job-id]1、列出所有Hadoop Shell支持的命令$ bin/hadoopfs -help2、显示关于某个命令的详细信息$ bin/hadoopfs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总$ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。

4、关于作业的更多细节，比如成功的任务，以及对每个任务的所做的尝试次数等可以用下面的命令查看$ bin/hadoop job -history all output-dir5、格式化一个新的分布式文件系统：$ bin/hadoopnamenode -format6、在分配的NameNode上，运行下面的命令启动HDFS：$ bin/start-dfs.shbin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。

7、在分配的JobTracker上，运行下面的命令启动Map/Reduce：$ bin/start-mapred.shbin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。

8、在分配的NameNode上，执行下面的命令停止HDFS：$ bin/stop-dfs.shbin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止DataNode守护进程。

9、在分配的JobTracker上，运行下面的命令停止Map/Reduce：$ bin/stop-mapred.shbin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止TaskTracker守护进程。

DFSShell10、创建一个名为/foodir的目录$ bin/hadoopdfs -mkdir /foodir11、创建一个名为/foodir的目录$ bin/hadoopdfs -mkdir /foodir12、查看名为/foodir/myfile.txt 的文件内容$ bin/hadoopdfs -cat /foodir/myfile.txtDFSAdmin13、将集群置于安全模式$ bin/hadoopdfsadmin -safemode enter14、显示Datanode列表$ bin/hadoopdfsadmin -report15、使Datanode节点datanodename退役$ bin/hadoopdfsadmin -decommission datanodename16、bin/hadoopdfsadmin -help 命令能列出所有当前支持的命令。

比如：* -report：报告HDFS的基本统计信息。

有些信息也可以在NameNode Web服务首页看到。

* -safemode：虽然通常并不需要，但是管理员的确可以手动让NameNode进入或离开安全模式。

* -finalizeUpgrade：删除上一次升级时制作的集群备份。

17、显式地将HDFS置于安全模式$ bin/hadoopdfsadmin -safemode18、在升级之前，管理员需要用（升级终结操作）命令删除存在的备份文件$ bin/hadoopdfsadmin -finalizeUpgrade19、能够知道是否需要对一个集群执行升级终结操作。

$ dfsadmin -upgradeProgress status20、使用-upgrade选项运行新的版本$ bin/start-dfs.sh -upgrade21、如果需要退回到老版本,就必须停止集群并且部署老版本的Hadoop，用回滚选项启动集群$ bin/start-dfs.h -rollback22、下面的新命令或新选项是用于支持配额的。

前两个是管理员命令。

* dfsadmin -setquota<N><directory>...<directory>把每个目录配额设为N。

这个命令会在每个目录上尝试，如果N不是一个正的长整型数，目录不存在或是文件名，或者目录超过配额，则会产生错误报告。

* dfsadmin -clrquota<directory>...<director>为每个目录删除配额。

这个命令会在每个目录上尝试，如果目录不存在或者是文件，则会产生错误报告。

如果目录原来没有设置配额不会报错。

* fs -count -q <directory>...<directory>使用-q选项，会报告每个目录设置的配额，以及剩余配额。

如果目录没有设置配额，会报告none和inf。

23、创建一个hadoop档案文件$ hadoop archive -archiveName NAME <src>* <dest>-archiveName NAME 要创建的档案的名字。

src文件系统的路径名，和通常含正则表达的一样。

dest保存档案文件的目标目录。

24、递归地拷贝文件或目录$ hadoopdistcp<srcurl><desturl>srcurl源Urldesturl目标Url25、运行HDFS文件系统检查工具(fsck tools)用法：hadoopfsck [GENERIC_OPTIONS] <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]命令选项描述<path>检查的起始目录。

-move 移动受损文件到/lost+found-delete 删除受损文件。

-openforwrite打印出写打开的文件。

-files 打印出正被检查的文件。

-blocks 打印出块信息报告。

-locations 打印出每个块的位置信息。

-racks 打印出data-node的网络拓扑结构。

-counter <job-id><group-name><counter-name>打印计数器的值。

-kill <job-id>杀死指定作业。

-events <job-id><from-event-#><#-of-events>打印给定范围内jobtracker接收到的事件细节。

-history [all] <jobOutputDir> -history <jobOutputDir>打印作业的细节、失败及被杀死原因的细节。

更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。

-list [all] -list all 显示所有作业。

e商务文档

hadoop常用命令

相关文档推荐：