Transformation  从一个 RDD 构建新的 RDD  

Transformations（转换）

从之前的RDD构建一个新的RDD，像map()和filter()

逐元素Transformations：

map()接收函数，把函数应用到RDD的每一个元素，返回新RDD

filter()接收函数，返回只包含满足filter()函数的元素的新RDD

flatMap()，对每个输入元素，输出多个输出元素。flat压扁的意思，将RDD中元素压扁后返回一个新的RDD

val lines = inputs.flatMap(line=>line.split(" "))

lines.foreach(println)

//scala
//RDD逐元素transformation
lines.map(word=>(word,1))
lines.filter(word=>word.contains("hello"))
lines.flatMap(line=>line.split(" "))      //压扁

//集合运算
rdd1.distinct()    //去重
rdd1.union(rdd2)    //并集
rdd1.intersection(rdd2)    //交集
rdd1.subtract(rdd2)

Transformations介绍：

Transformations（转换）

从之前的RDD构建一个新的RDD，像map()和filter()

逐元素Transformations：

map()接收函数，把函数应用到RDD的每一个元素，返回新RDD

filter()接收函数，返回只包含满足filter()函数的元素的新RDD

flatMap()，对每个输入元素，输出多个输出元素。flat压扁的意思，将RDD中元素压扁后返回一个新的RDD

val lines = inputs.flatMap(line=>line.split(" "))

lines.foreach(println)

flatMap 压扁

transformation(2)

Transformation(1)

Map操作

Transformation

hello ！

Hello Spark

Hello World

after flatmap(line>> line.split(" " ))

hello

！

Hello

Spark

Hello

World

flatMap 更细致元素，每一个全部

map（）接收函数，把函数应用到RDD的每一个元素，返回新的RDD

filter()接受函数返回只包含满足filter（）函数的元素的薪RDD  例如只包含hello的list

flatMap（）对每个输入元素，输出多个元素，将RDD元素压扁后返回一个新的RDD，spilt切割空格，他会将3行压扁为一行进行处理

flatMap（）后的打印结果如截图所示：

逐元素transformation，

flatmap（）：

对每个输入元素，输出多个输出元素。

flat压扁的意思，将rdd中元素压扁后返回一个新的rdd。

filter的用法，生成新的rdd。如截图所示：

逐元素transformation

filter（）：

  filter（）接收函数，返回只包含满足filter（）函数的元素的新rdd。

将单独的元素转换成map类型的rdd，如截图所示。

逐元素transformation

map（）：

    map（）接收函数，把函数应用到rdd的每一个元素，返回新rdd。

transformation介绍，

转换操作，

从之前的rdd构建一个新的rdd，像map（）和filter（）操作。。。

RDDS基本操作之Transfrormation