运行SQL查询时出现PySpark错误

Question

由于缺乏在pyspark / python中编写代码的知识，我决定在spark.sql中编写查询。我用两种格式编写了查询。第一种格式允许EOL中断。但是，以这种格式我会遇到错误，请参见下文：

results5 = spark.sql("SELECT\

  appl_stock.Open\

 ,appl_stock.Close\

FROM appl_stock\

WHERE appl_stock.Close < 500")

上面的格式产生以下错误：

---------------------------------------------------------------------------

Py4JJavaError                             Traceback (most recent call last)

~/spark-2.1.0-bin-hadoop2.7/python/pyspark/sql/utils.py in deco(*a, **kw)

     62         try:

---> 63             return f(*a, **kw)

     64         except py4j.protocol.Py4JJavaError as e:

~/spark-2.1.0-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name)

    318                     "An error occurred while calling {0}{1}{2}.\n".

--> 319                     format(target_id, ".", name), value)

    320             else:

Py4JJavaError: An error occurred while calling o19.sql.

: org.apache.spark.sql.catalyst.parser.ParseException: 

mismatched input '.' expecting {<EOF>, ',', 'FROM', 'WHERE', 'GROUP', 'ORDER', 'HAVING', 'LIMIT', 'LATERAL', 'WINDOW', 'UNION', 'EXCEPT', 'MINUS', 'INTERSECT', 'SORT', 'CLUSTER', 'DISTRIBUTE'}(line 1, pos 35)

 

而以下代码可产生成功的结果，请参见下文：

results6 = spark.sql("SELECT appl_stock.Open ,appl_stock.Close FROM appl_stock WHERE appl_stock.Close < 500")

有人可以让我知道为什么第一个代码不起作用，而第二个代码却不起作用吗？

Answer 1

因为您\在第一个中使用，并且将其作为奇数语法传递给spark。如果要编写多行SQL语句，请使用三引号：results5 = spark.sql("""SELECT&nbsp; appl_stock.Open&nbsp;,appl_stock.CloseFROM appl_stockWHERE appl_stock.Close < 500""")

Answer 2

就我而言，我遇到了错误mismatched input '*' expecting <EOF>。然后我意识到我正在使用spark.table(而不是spark.sql(。我认为这可能对某人有用...

Answer 3

奇怪的是，如果我使用终止我的SQL语句，这对我来说是抛出的;。只需将其修复即可。IEspark.sql("""SELECT * FROM foo WHERE bar = 3;""")休息。spark.sql("""SELECT * FROM foo WHERE bar = 3""")才不是。