Spark之累加器

一、系统累加器
        累加器：分布式共享只写变量。（Executor和Executor之间不能读数据）
        累加器用来把Executor端变量信息聚合到Driver端。在Driver中定义的一个变量，在Executor端的每个task都会得到这个变量的一份新的副本，每个task更新这些副本的值后，传回Driver端进行合并计算。

定义：SparkContext.accumulator(initialValue)方法
object accumulator01_system {
def main(args: Array[String]): Unit = {
val conf: SparkConf = new SparkConf()
.setAppName("WC")
.setMaster("local[*]")
val sc: SparkContext = new SparkContext(conf)
val dataRDD: RDD[(Strin

Spark之累加器最先出现在Python成神之路。