spark 有没有可以读写的共享变量的解决方案?

spark 有没有可以读写的共享变量的解决方案


饮歌长啸
浏览 720回答 1
1回答

largeQ

scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0)scala> broadcastVar.valueres0: Array[Int] = Array(1, 2, 3)在创建了广播变量之后,在集群上的所有函数中应该使用它来替代使用v.这样v就不会不止一次地在节点之间传输了。另外,为了确保所有的节点获得相同的变量,对象v在被广播之后就不应该再修改。
打开App,查看更多内容
随时随地看视频慕课网APP