spark的foreach是并行的吗？

Question

spark的foreach是并行的吗

Answer 1

是并行的，其他并行的操作如下：以下几种并行操作可以在RDDS上实现：1、聚合：在驱动程序中使用相关函数对数据集进行聚合。2、收集：发送该数据集的所有元素到驱动程序中。3、流程：例如，一种用来更新并行数据的简单方法，就是并行化映射和收集整个数组。4、遍历（foreach）：通过用户自定义的函数遍历每个元素。只是这种函数的副作用很明显（这可能是用来将数据复制到另外一个系统中的功能，如下面所解释的用来更新的共享变量）。（ 注意：这里的foreach的副作用，应该是说foreach只能用来遍历，不能用来对集合进行修改否则会发生很多奇怪的情况） 。