spark 的 map 和 flatMap 应该怎样理解

Question

spark 的 map 和 flatMap 应该怎样理解

Answer 1

map: 对RDD每个元素转换flatMap: 对RDD每个元素转换, 然后再扁平化（即将所有对象合并为一个对象）e.g.// data 有两行数据，第一行 a,b,c，第二行1,2,3scala>data.map(line1 => line1.split(",")).collect()res11: Array[Array[String]] = Array(Array(a, b, c),Array(1, 2, 3))scala>data.flatMap(line1 => line1.split(",")).collect()res13: Array[String] = Array(a, b, c, 1, 2, 3)