使用Pyspark计算Spark数据帧每列中非NaN条目的数量

Question

我在Hive中加载了一个非常大的数据集。它由大约190万行和1450列组成。我需要确定每一列的“覆盖率”，即每一列具有非NaN值的行的分数。

这是我的代码：

from pyspark import SparkContext

from pyspark.sql import HiveContext

import string as string

sc = SparkContext(appName="compute_coverages") ## Create the context

sqlContext = HiveContext(sc)

df = sqlContext.sql("select * from data_table")

nrows_tot = df.count()

covgs=sc.parallelize(df.columns)

        .map(lambda x: str(x))

        .map(lambda x: (x, float(df.select(x).dropna().count()) / float(nrows_tot) * 100.))

在pyspark shell中进行尝试，如果我随后执行covgs.take（10），它将返回一个相当大的错误堆栈。它说在文件中保存有问题/usr/lib64/python2.6/pickle.py。这是错误的最后一部分：

py4j.protocol.Py4JError: An error occurred while calling o37.__getnewargs__. Trace:

py4j.Py4JException: Method __getnewargs__([]) does not exist

        at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:333)

        at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:342)

        at py4j.Gateway.invoke(Gateway.java:252)

        at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)

        at py4j.commands.CallCommand.execute(CallCommand.java:79)

        at py4j.GatewayConnection.run(GatewayConnection.java:207)

        at java.lang.Thread.run(Thread.java:745)

如果有比我正在尝试的方法更好的方法来实现此目的，我欢迎您提出建议。但是，我不能使用熊猫，因为它在我正在使用的群集上当前不可用，并且我没有安装它的权利。