文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > hadoop命令手册
侵权投诉

hadoop命令手册

Hadoop常用命令及选项介绍

job

用于和Map Reduce作业交互和命令。

用法:hadoop job [GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history

[all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] |

[-fail-task <task-id>]

命令选项 描述

-submit <job-file> 提交作业

-status <job-id> 打印map和reduce完成百分比和所有计数器。

-counter <job-id> <group-name> <counter-name> 打印计数器的值。 -kill <job-id> 杀死指定作业。

-events <job-id> <from-event-#> <#-of-events> 打印给定范围内jobtracker接收到的事件细节。

-history [all] <jobOutputDir> -history <jobOutputDir> 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看。

-list [all] -list all显示所有作业。-list只显示将要完成的作业。 -kill-task <task-id> 杀死任务。被杀死的任务不会不利于失败尝试。 -fail-task <task-id> 使任务失败。被失败的任务会对失败尝试不利。 pipes

运行pipes作业。

用法:hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...]

[-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>]

[-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>]

[-program <executable>] [-reduces <num>]

命令选项 描述

-conf <path> 作业的配置

-jobconf <key=value>, <key=value>, ... 增加/覆盖作业的配置项 -input <path> 输入目录

-output <path> 输出目录

-jar <jar file> Jar文件名

-inputformat <class> InputFormat类

-map <class> Java Map类

-partitioner <class> Java Partitioner

-reduce <class> Java Reduce类

-writer <class> Java RecordWriter

-program <executable> 可执行程序的URI

-reduces <num> reduce个数

上一页第3页

你可能喜欢

热门文档

相关文档

  • Hadoop命令大全

    下面是Hadoop命令的详细介绍。 Hadoop命令大全 1、列出所有HadoopShell支持的命令 $bin/hadoopfs-help 2、显示关于某个命令的详细信息 $bin/hadoopfs-helpcommand-...

  • Hadoop命令大全

    Hadoop 命令大全 Hadoop 配置: Hadoop 配置文件 core-site.xml 应增加如下配置,否则可能重启后发生 Hadoop 命名节点文件丢失问题: <property> <name>hadoop.tmp....

  • hadoop命令大全

    hadoop命令大全_IT/计算机_专业资料。命令本节比较全面的向大家介绍一下Hadoop命令,欢迎大家一起来学习,希望通过本节的介绍大家能够掌握一些常见Hadoop命令的使用方法...

  • Hadoop命令手册

    Hadoop命令手册_计算机软件及应用_IT/计算机_专业资料。主要是hdfs的shell命令集所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的...

  • Hadoop官方文档-命令手册

    Hadoop官方文档-命令手册_IT/计算机_专业资料。Hadoop的一些官方文档。Copyright ? 2007 The Apache Software Foundation. All rights reserved. Page 2 Copyright ?...

  • 7.hadoop命令手册 commands_manual

    hadoop命令大全 8页 免费 Hadoop源代码分析完整版 83页 免费 HDFS 维护手册 23页 2财富值 hadoop集群配置 34页 免费 hadoop 命令手册 6页 1财富值...

  • 基本hadoop命令讲解

    hadoop讲解 40页 免费 讲解一下Hadoop 37页 免费 hadoop命令大全 8页 免费 Hadoop命令手册 10页 免费 8.Hadoop Shell命令 hdf... 10页 免费 Hadoop命令 3页...

  • hadoop命令大全

    hadoop命令大全_IT/计算机_专业资料。Hadoop 命令的研究 目录 0 概述: ...Hadoop 命令的研究 目录 0 概述: ......

  • hadoop命令大全

    hadoop命令大全_IT/计算机_专业资料。hadoop命令大全 包含整理和讲解部分 包您...2 2 用户命令:......

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email