继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

使用hive 实现WordCount 计数

幕布斯6054654
关注TA
已关注
手记 1135
粉丝 218
获赞 1009

启动Hive

webp

启动hive

2.建表


webp

建表

3.导入数据


webp

导入数据

4.查询:


webp

查看wordcount 表

至此,数据导入完成。我原先以为做单词统计,这一张表就可以,但是我发现非常的困难,到这个地步就不能在用Hadoop里的MR来思维了,应该用RMDS的思维来解决这个问题,所以我又新建了一张表,叫words,用来存储分割字符串后的单词。

6.新建words表


webp

建表

7对words表进行格式上的处理执行下列语句

insert overwrite table wordsselect explode(split(word,'[ \t]+')) wordfrom wordcount;         explode是hive的函数,在以后的深入学会了解到。

对表行一个处理,即遇到一个“\t”自动切分

words表中的格式

8.使用HQL语句查询words表

select word ,count(*) from   words group by word


webp



作者:起个什么呢称呢
链接:https://www.jianshu.com/p/6407088212e5


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP