需要使用 WordCount-1.0-SNAPSHOT-jar-with-dependencies.jar包
mapreduce代码默认不支持直接在本地调试
java.lang.NullPointerException at com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27)
根据这个错误提示,可以看出来是datacleanmap.java的第27行代码出现了空指针异常,这个属于原始数据有问题了,需要排查一下原始数据
还有就是通过System.out.println(id);能在日志中打印出来,说明代码本身没有问题,由于某些行的数据有问题导致在解析数据的时候失败了,这里的数据是json格式的,要仔细看一下数据格式,可以把原始数据文件中的数据行数做一个删减,只保留一两行数据测试一下
视频中的json数据video_rating.log是讲师自己做的假数据,目前也并没有放入到下载资料中,你可以按照上一个视频中的字段自己仿照做一个假数据