猿问
下载APP

spark既要根据key分区又要根据value排序怎么办?

spark既要根据key分区又要根据value排序怎么办


慕沐林林
浏览 215回答 1
1回答

白板的微信

ass UsridPartitioner(numParts:Int) extends Partitioner{//覆盖分区数override def numPartitions: Int = numParts//覆盖分区号获取函数override def getPartition(key: Any): Int = {key.toString.toInt%10}}object Test {def main(args: Array[String]) {val conf=new SparkConf()val sc=new SparkContext(conf)//模拟5个分区的数据val data=sc.parallelize(1 to 10,5)//根据尾号转变为10个分区,分写到10个文件data.map((_,1)).partitionBy(new UsridPartitioner(10)).sa
打开App,查看更多内容
随时随地看视频慕课网APP
我要回答