Hadoop 命令参考

“$HADOOP_HOME/bin/hadoop fs” 中有更多的命令比这里演示的更多，尽管这些基本的操作会让你开始。运行不带附加参数的 ./bin/hadoop dfs 将列出可以使用FsShell系统运行的所有命令。此外， $HADOOP_HOME/bin/hadoop fs -help commandName将显示相关操作的简短使用情况摘要，如果卡住了。

下面显示了所有操作的表格。以下约定用于参数：

"<path>" means any file or directory name.
"<path>..." means one or more file or directory names.
"<file>" means any filename.
"<src>" and "<dest>" are path names in a directed operation.
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.

所有其他文件和路径名称都是指HDFS内的对象。

1 ls
列出path指定的目录内容，显示每个条目的名称，权限，所有者，大小和修改日期。
2 lsr
行为与-ls相似，但递归显示路径的所有子目录中的条目。
3 du
显示所有匹配路径的文件的磁盘使用情况（以字节为单位）; 用完整的HDFS协议前缀报告文件名。
4 dus
像-du一样，但会打印路径中所有文件/目录的磁盘使用情况摘要。
5 mv
将HDFS中由src指示的文件或目录移动到dest。
6 cp
在HDFS中将由src标识的文件或目录复制到dest。
7 rm
删除由路径标识的文件或空目录。
8 rmr
删除路径标识的文件或目录。递归删除任何子条目（即路径的文件或子目录）。
9 put
在DFS中将文件或目录从localSrc标识的本地文件系统复制到dest。
10 copyFromLocal
与输入相同
11 moveFromLocal
将文件或目录从localSrc标识的本地文件系统复制到HDFS中的dest，然后在成功时删除本地副本。
12 get [-crc]
将由src标识的HDFS中的文件或目录复制到localDest标识的本地文件系统路径。
13 getmerge
检索与HDFS中的路径src匹配的所有文件，并将它们复制到由localDest标识的本地文件系统中的单个合并文件。
14 cat
在标准输出中显示文件名的内容。
15 copyToLocal
与-get相同
16 moveToLocal
像-get一样工作，但会成功删除HDFS副本。
17 mkdir
在HDFS中创建一个名为path的目录。 创建缺少的路径中的任何父目录（例如，Linux中的mkdir -p）。
18 setrep [-R] [-w] rep
为由代表路径标识的文件设置目标复制因子。（实际的复制因子会随着时间的推移向目标移动）
19 touchz
在包含当前时间的路径中创建一个文件作为时间戳。如果文件已经存在于路径中，则失败，除非文件已经大小为0。
20 test -[ezd]
如果路径存在，则返回1; 长度为零; 或者是一个目录，否则为0。
21 stat [format]
打印有关路径的信息。格式是以块（％b），文件名（％n），块大小（％o），复制（％r）和修改日期（％y，％Y）接受文件大小的字符串。
22 tail [-f]
显示stdout上文件的最后1KB。
23 chmod [-R] mode,mode,... ...
更改与path标识的一个或多个对象关联的文件权限....使用R递归执行更改。mode是一个3位八进制模式，或{augo} +/- {rwxX}。假设没有指定范围并且不应用umask。
24 chown [-R] [owner][:[group]] ...
设置拥有的用户和/或组由路径标识的文件或目录....如果指定了-R，则递归地设置所有者。
25 chgrp [-R] group ...
为由路径标识的文件或目录设置拥有组....如果指定了-R，则递归地设置组。
26 help
返回上面列出的其中一个命令的使用情况信息。您必须省略cmd中的前导' - '字符。

MapReduce是一个框架，我们可以编写应用程序，以可靠的方式并行处理大量商品硬件集群上的大量数据。什么是MapReduce？MapReduce是一种基于java的分布式计算处理技术和程序模型。MapRe ...