spark累加器

累加器是一种共享变量，提供了将工作节点中的值聚合到驱动器程序中的简单语法。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。

累加器计数

pic-1.png

注意：只有在运行行动操作（pic-1之中的saveAsTextFile）之后累加器中才会有计数值,因为行动操作之前的转化操作是惰性的。

另外一点：工作节点上的任务不能访问累加器的值。从这些任务的角度来看，累加器是一个只写变量。在这种模式下，累加器的实现可以更加高效，不需要对每次更新操作进行复杂的通信。

在python中运用累加器进行错误计数

pic-2.png

作者：LuciferTM
链接：https://www.jianshu.com/p/a3c21eb1612a