Hadoop 显示大文件上传进度技巧

在上传大文件到hdfs中的时候，我们是无法看上传的进度的，我们可以使用pv这个命令来达到我们想要的效果，这是一个野路子，但却可以实现目的，过程不重要。

使用方法

安装pv命令

yum install pv -y

使用pv命令读取文件,通过管道交给hadoop
pv demo.tar.gz | hadoop fs -put - /tmp/

[root@log rsy]# pv demo.tar.gz | hadoop fs -put - /tmp/17.3GiB 0:03:06 [21.7MiB/s] [================================================>

作者：dounine
链接：https://www.jianshu.com/p/2e8e5100a19d