Hadoop常用文件操作命令

发表于 更新于 分类于 ， 阅读次数： Disqus： 本文字数： 355 阅读时长 ≈ 1 分钟

介绍Hadoop的一些简单用法。

命令基本格式

1
hadoop fs -cmd < args >

展示

ls

列出hdfs文件系统根目录下的目录和文件

1
hadoop fs -ls  /

上传本地文件到服务器

put

1
hadoop fs -put < local file > < hdfs file >

moveFromLocal

与put相类似，命令执行后源文件 local src 被删除

1
hadoop fs -moveFromLocal  < local src > ... < hdfs dst >

copyFromLocal

1
hadoop fs -copyFromLocal  < local src > ... < hdfs dst >

从服务器下载文件到本地

get

1
hadoop fs -get < hdfs file > < local file or dir>

copyToLocal

1
hadoop fs -copyToLocal < local src > ... < hdfs dst >

getmerge

1
2
# 将hdfs指定目录下所有文件排序后合并到local指定的文件中，文件不存在时会自动创建，文件存在时会覆盖里面的内容
hadoop fs -getmerge < hdfs dir >  < local file >

删除文件

rm

1
2
hadoop fs -rm < hdfs file > ...
hadoop fs -rm -r < hdfs dir>...

创建目录

mkdir

1
2
3
4
5
# 只能一级一级的建目录，父目录不存在的话使用这个命令会报错
hadoop fs -mkdir < hdfs path>

# 所创建的目录如果父目录不存在就创建该父目录
hadoop fs -mkdir -p < hdfs path>

复制文件

cp

1
hadoop fs -cp  < hdfs file >  < hdfs file >

移动文件

mv

1
hadoop fs -mv < hdfs file >  < hdfs file >

统计

count

1
2
# 统计hdfs对应路径下的目录个数，文件个数，文件总计大小
hadoop fs -count < hdfs path >

du

1
2
# 显示hdfs对应路径下每个文件夹和文件的大小
hadoop fs -du < hdsf path>