如何获得整个数据框而不是列的均值？

Question

如何获得熊猫数据框中所有值的平均值（NaN除外）？

pd.DataFrame.mean()仅给出每一列（或设置时的行axis=1）的均值，但我想要整个结果的均值。这df.mean().mean()并不是最明智的选择（请参见下文）。

请注意，在我的实际情况下，数据框具有较大的多索引，这使事情变得更加复杂。对于无关紧要的情况，可以将@EdChum的答案视为更直接的方法，在某些情况下，它可能比更快的解决方案更可取。

范例程式码

data1 = np.arange(16).reshape(4, 4)

df = pd.DataFrame(data=data1)

df.mean()

0    9.0

1    7.0

2    8.0

3    9.0

dtype: float64

df.mean().mean()

7.5

np.arange(16).mean()

7.5

可以，但是如果我遮盖了df的一部分（实际上，它是数百行/列的相关矩阵，从本质上说，它本身的一半充满了冗余数据），它会变得很有趣：

triang = np.triu_indices(4)

data2 = np.arange(4.,20.).reshape(4, 4)

data2[triang]=np.nan

df2 = pd.DataFrame(data=data2)

df2.mean().mean()

15.0

但是(8. + 12. + 13. + 16. + 17. + 18.)/6是14.

除了编写手动执行上述操作的某种循环之外，如何最好地获得“真实”的意思？

Answer 1

您可以使用numpy.nanmean：triang = np.triu_indices(4)data2 = np.arange(4.,20.).reshape(4, 4)data2[triang]=np.nandf2 = pd.DataFrame(data=data2)res = np.nanmean(df2)  # 14.0也可以通过stack，如@EdChum所述，但速度较慢：df2 = pd.concat([df2]*100000)%timeit np.nanmean(df2)              # 14.0ms%timeit df2.stack().dropna().mean()  # 55.7ms如果您的数据仅是数字数据，则也可以完全删除Pandas的开销。

Answer 2

您可以stack，然后dropna再致电mean：In[201]:df2.stack().dropna().mean()Out[201]: 14.0因此，这会将df转换为单个列Series，然后您可以调用dropna删除NaN行，现在mean将mean正确计算出行。