使用 pyspark 读取 sqlite - SQLException：不支持的类型 NULL

Question

我正在尝试使用 Spark 读取 sqlite db 文件，但出现以下错误：

Py4JJavaError                             Traceback (most recent call last)

<ipython-input-101-b7f53ac120a0> in <module>()

----> 1 sqlContext.read.jdbc(url = jdbcUrl, table='the_table', properties=connectionProperties)

/opt/spark/2.4.4/python/pyspark/sql/readwriter.py in jdbc(self, url, table, column, lowerBound, upperBound, numPartitions, predicates, properties)

    557             gateway = self._spark._sc._gateway

    558             jpredicates = utils.toJArray(gateway, gateway.jvm.java.lang.String, predicates)

--> 559             return self._df(self._jreader.jdbc(url, table, jpredicates, jprop))

    560         return self._df(self._jreader.jdbc(url, table, jprop))

    561 

/opt/spark/2.4.4/python/lib/py4j-src.zip/py4j/java_gateway.py in __call__(self, *args)

   1255         answer = self.gateway_client.send_command(command)

   1256         return_value = get_return_value(

-> 1257             answer, self.gateway_client, self.target_id, self.name)

   1258 

   1259         for temp_arg in temp_args:

/opt/spark/2.4.4/python/pyspark/sql/utils.py in deco(*a, **kw)

     61     def deco(*a, **kw):

     62         try:

---> 63             return f(*a, **kw)

     64         except py4j.protocol.Py4JJavaError as e:

     65             s = e.java_exception.toString()

/opt/spark/2.4.4/python/lib/py4j-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name)

    326                 raise Py4JJavaError(

    327                     "An error occurred while calling {0}{1}{2}.\n".

--> 328                     format(target_id, ".", name), value)

    329             else:

    330                 raise Py4JError(

Py4JJavaError: An error occurred while calling o1744.jdbc.

: java.sql.SQLException: Unsupported type NULL

    at 

我认为问题是: java.sql.SQLException: Unsupported type NULL我正在读取的数据有空值并且不受支持，或者什么 - 但问题是数据有零空值并且它仍然不会读取表。

运行我得到上面的错误显示。

而且我也收到相同的错误消息。

我显然在这里遗漏了一些东西，我能找到的所有线程都是 java 或 scala，虽然我已经尝试了其中建议的各种其他东西，但它似乎没有用。

Answer 1

您正在尝试使用 spark 从 SQLite 表导入数据。实际上，在 spark 中，JDBCDialect forSQLite是不存在的。因此，SQLite 类型未按预期匹配，因此出现此异常。要解决这个问题，您需要通过扩展 Spark 抽象JdbcDialect类来编写 jdbc 方言，如下所示 -object SQLiteDialect extends JdbcDialect {...}在这里，您可以从其他可用的方言（例如PostgressDialect ）中获得帮助现在按照下面提到的步骤进行测试 -SQLiteDialect将编译后的类和伴生对象打包到一个 JAR 中将 JAR 复制到 Spark 二进制安装中的 jars 文件夹（可选，可能可以在额外的 --jars 参数中设置路径）然后在创建 SQLite 表和示例数据后在 spark-shell 中运行以下测试：org.apache.spark.sql.jdbc.JdbcDialects.registerDialect(org.apache.spark.sql.jdbc.SQLiteDialect)val jdbcDF = sqlContext.read.format('jdbc').options(url='jdbc:sqlite:/path/to/sqlitedb/test.db',&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;dbtable = 'the_table',&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;driver = 'org.sqlite.JDBC').load()jdbcDF.show()JdbcDialects.unregisterDialect(org.apache.spark.sql.jdbc.SQLiteDialect)参考这个线程貌似有中型博客讲SQLite方言，有很好的解释，请参考。