继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

Spark算子:统计RDD分区中的元素及数量

慕哥9229398
关注TA
已关注
手记 1245
粉丝 199
获赞 913

Spark RDD是被分区的,在生成RDD时候,一般可以指定分区的数量,如果不指定分区数量,当RDD从集合创建时候,则默认为该程序所分配到的资源的CPU核数,如果是从HDFS文件创建,默认为文件的Block数。

具体看例子:

//创建一个RDD,默认分区15个,因为我的spark-shell指定了一共使用15个CPU资源//–total-executor-cores 15

rdd1 parititons

webp

//统计rdd1每个分区中元素数量

partition中元素数量

webp

//统计rdd1每个分区中有哪些元素

partition中元素

webp

//从HDFS文件创建的RDD,包含65个分区,因为该文件由65个Block

rdd2 partitions

webp

//rdd2每个分区的元素数量

partition中元素数量

webp



作者:ZyZhu
链接:https://www.jianshu.com/p/48d99cbfb824


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP