Hadoop常用命令及选项介绍
job
用于和Map Reduce作业交互和命令。
用法:hadoop job [GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history
[all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] |
[-fail-task <task-id>]
命令选项 描述
-submit <job-file> 提交作业
-status <job-id> 打印map和reduce完成百分比和所有计数器。
-counter <job-id> <group-name> <counter-name> 打印计数器的值。 -kill <job-id> 杀死指定作业。
-events <job-id> <from-event-#> <#-of-events> 打印给定范围内jobtracker接收到的事件细节。
-history [all] <jobOutputDir> -history <jobOutputDir> 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看。
-list [all] -list all显示所有作业。-list只显示将要完成的作业。 -kill-task <task-id> 杀死任务。被杀死的任务不会不利于失败尝试。 -fail-task <task-id> 使任务失败。被失败的任务会对失败尝试不利。 pipes
运行pipes作业。
用法:hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...]
[-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>]
[-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>]
[-program <executable>] [-reduces <num>]
命令选项 描述
-conf <path> 作业的配置
-jobconf <key=value>, <key=value>, ... 增加/覆盖作业的配置项 -input <path> 输入目录
-output <path> 输出目录
-jar <jar file> Jar文件名
-inputformat <class> InputFormat类
-map <class> Java Map类
-partitioner <class> Java Partitioner
-reduce <class> Java Reduce类
-writer <class> Java RecordWriter
-program <executable> 可执行程序的URI
-reduces <num> reduce个数
下面是Hadoop命令的详细介绍。 Hadoop命令大全 1、列出所有HadoopShell支持的命令 $bin/hadoopfs-help 2、显示关于某个命令的详细信息 $bin/hadoopfs-helpcommand-...
Hadoop 命令大全 Hadoop 配置: Hadoop 配置文件 core-site.xml 应增加如下配置,否则可能重启后发生 Hadoop 命名节点文件丢失问题: <property> <name>hadoop.tmp....
hadoop命令大全_IT/计算机_专业资料。命令本节比较全面的向大家介绍一下Hadoop命令,欢迎大家一起来学习,希望通过本节的介绍大家能够掌握一些常见Hadoop命令的使用方法...
Hadoop命令手册_计算机软件及应用_IT/计算机_专业资料。主要是hdfs的shell命令集所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的...
Hadoop官方文档-命令手册_IT/计算机_专业资料。Hadoop的一些官方文档。Copyright ? 2007 The Apache Software Foundation. All rights reserved. Page 2 Copyright ?...
hadoop命令大全 8页 免费 Hadoop源代码分析完整版 83页 免费 HDFS 维护手册 23页 2财富值 hadoop集群配置 34页 免费 hadoop 命令手册 6页 1财富值...
hadoop讲解 40页 免费 讲解一下Hadoop 37页 免费 hadoop命令大全 8页 免费 Hadoop命令手册 10页 免费 8.Hadoop Shell命令 hdf... 10页 免费 Hadoop命令 3页...
hadoop命令大全_IT/计算机_专业资料。Hadoop 命令的研究 目录 0 概述: ...Hadoop 命令的研究 目录 0 概述: ......
hadoop命令大全_IT/计算机_专业资料。hadoop命令大全 包含整理和讲解部分 包您...2 2 用户命令:......
热门文档