py文件路径问题
来源：3-2 MapReduce实战
BellaSam
2017-12-21 16:08
/***/hadoop jar /usr/***/hadoop-streaming-2.6.0-cdh5.7.0.jar -files "hdfs_map.py,hdfs_reduce.py" -input /tmp/test.txt -output /tmp/test/wordCount -mapper "/***/python hdfs_map.py" -files -reducer "/***/python hdfs_reduce.py"
这里老师说的把py文件提交到hadoop里，这个过程在哪里呢？如果没有的话，hadoop怎么知道这命令里的py文件的路径呢？
另外，老师可以详细讲解一下这条命令吗？
写回答
关注
2回答
-
- 叁金
- 2017-12-22 06:34:42
是这样的，你也复制了命令出来，你应该有看到命令里面的-mapper 和-reducer参数，这两个参数的值就是Python程序的路径。 整个命令的含义就是启动一个mapreduce任务，在执行命令的时候需要一些参数，比如指定我们的输入输出，指定我们自己编写的mapreduce程序等等。 可以查看相关命令的帮助获取详细信息
-
- 叁金
- 2017-12-21 19:33:18
具体什么问题呢？
Hadoop基础及演练
与大数据密不可分的Hadoop框架，你值得学习
52268 学习 · 64 问题
相似问题