RDDA—>RDDB

从已经存在的RDD创建一个新的RDD

例：rddb=rdda.map(……..)

所有的tansformation并不会lazy（不会计算），只有transformation遇到action操作时才会计算

方法：

1. map:

   map(func)

   将func函数作用在数据集（RDD）的每个元素上，生成一个新的分布式数据集（RDD）返回。
   

2. filter (过滤)

   filter（func）

   选出所有func函数返回值为true的元素，生成一个新的分布式数据集
   

3. flatMap（将所有元素合并，然后拆分。）

   flatMap(func)

   输入的item(每一个元素)能否被map到0或者多个Items输出，返回值是一个sequence()

4. groupByKey
   

   将根据key值，将相同的key的数据分发到一块
   

5. reduceBykey
   将相同的kEY 分发到一块并进行相应的计算（传进的函数）

6. sortByKey（升序）

根据key进行排序然后输出

若想根据value 排序，可data.map(x:(x[1],x[0])).sortByKey.map(x:(x[1],x[0]))

7. union

将两个数据集进行拼接

8. distinct 去重
   去掉RDD中重复的值

9. join:数据集连接

类似于sql中的关联查询

2.Action

将计算RDD后的值返回到Driver Program

1. collect 输出
2. count 获取元素个数
3. reduce (func) 执行输出
4. saveASTextFile 保存到文本
5. foreach 遍历