问答详情
源自:7-2 原始数据清洗代码实现

运行不了hadoop,一直报错

http://img4.mukewang.com/5e3ac61c00015f0f09410811.jpg

http://img4.mukewang.com/5e3ac61c0001026e08260484.jpg

http://img3.mukewang.com/5e3ac61c000100f111240663.jpg

不知道哪个地方有问题,我按照老师的模板写的啊

提问者:qq_关怀天下_0 2020-02-05 21:42

个回答

  • 徐老师
    2020-02-11 16:48:36

    java.lang.NullPointerException at com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27)

    根据这个错误提示,可以看出来是datacleanmap.java的第27行代码出现了空指针异常,这个属于原始数据有问题了,需要排查一下原始数据

    还有就是通过System.out.println(id);能在日志中打印出来,说明代码本身没有问题,由于某些行的数据有问题导致在解析数据的时候失败了,这里的数据是json格式的,要仔细看一下数据格式,可以把原始数据文件中的数据行数做一个删减,只保留一两行数据测试一下

  • 慕虎5209281
    2020-03-25 21:23:15

    http://img.mukewang.com/5e7b5aa20001fa6719201080.jpg

    为啥我编译后的结果比元数据查询的反而多了一个???检查了“空格”也没问题。

  • gongwanyi
    2020-03-17 10:53:41

    这个我已经解决了,是因为函数没有对空行进行处理,导致报空指针异常。可以通过#grep "^$" video.log |wc -l,统计一下空行的行数,然后把空行删掉就可以解决了。或者你吧源代码里面关于空行的处理进行一下改进。

  • qq_关怀天下_0
    2020-02-06 17:36:34

    求大神指点

    现在把代码按照老师讲解重写了一遍,但是运行的时候报获取字段方法错误:

    String id = jsonObj.getString("uid"); 但是通过System.out.println(id);能在日志中打印出来,真的不知道怎么办了
    
    2020-02-06 17:20:56,950 INFO mapreduce.Job: Task Id : attempt_1580976866673_0005_m_000000_2, Status : FAILEDError: java.lang.NullPointerException	at com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27)	at com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:13)	at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146)	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:799)	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:347)	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174)	at java.security.AccessController.doPrivileged(Native Method)	at javax.security.auth.Subject.doAs(Subject.java:422)	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)


  • qq_关怀天下_0
    2020-02-06 12:17:01

    弄了两天还是没做出来,不知道哪的原因,一直显示任务有问题,不确定是日志的合适错误还是代码有问题,求大神帮忙看看
    http://img.mukewang.com/5e3b932b00012ad809410811.jpg

    http://img.mukewang.com/5e3b93360001871a08260484.jpg

    http://img4.mukewang.com/5e3b933b000107dc11240663.jpg