java -jar运行MR程序

1、一般的做法都是使用hadoop jar的形式提交任务。
vi bin/hadoop.jar

image.png

其实内部调用了RunJar.java 用来读取hadoop环境参数，配置文件等。

2、现在想用单纯的java -jar来提交MR任务到yarn也是可行的

3、打个胖包。

image.png

4、java -jar wc-fat.jar /day08-wc/input/wc.txt /day08-wc/output3
报错：

image.png

胖包里面没有配置文件。
把输入输出文件当成local模式的了。

5、下载集群的配置文件到本地Eclipse src目录下。

image.png

6、指定本程序的jar包所在的本地路径

//job.setJarByClass(WordcountDriver.class);
   job.setJar("/home/hadoop/lib/wc-fat.jar");

再次执行即可：
java -jar wc-fat.jar /day08-wc/input/wc.txt /day08-wc/output4

作者：sparkle123
链接：https://www.jianshu.com/p/990fdcc61942