数据帧值与 pyspark 中的数字比较

Question

我有一个只有一个值的数据框，我想将它与数值进行比较并根据它引发错误。

是这样的：

df=spark.sql("""

select count(1) as count_check from schema.table) 

""")

df.select("count_check").show()

if df.value == 0:

    print("ALL GOOD")

else:

    raise Exception("ATAR DATA MISMATCH, RESULT COUNT IS NOT ZERO!")

我可以使用 show() 打印它，但无法正确比较，因为一个是数据帧，另一个是整数。请指教。

Answer 1

您需要收集要在 python 上下文中使用的 Dataframe 列值df = spark.sql('select count(1) as count_check from schema.table')value = df.collect()[0][0]if value == 0:    print("ALL GOOD")else:    raise Exception("ATAR DATA MISMATCH, RESULT COUNT IS NOT ZERO!")