如何使用JDBC源在（Py）Spark中写入和读取数据？

Question

如何使用JDBC源在（Py）Spark中写入和读取数据？

这个问题的目标是记录：

• 在PySpark中使用JDBC连接读取和写入数据所需的步骤

• JDBC源和已知解决方案可能存在的问题

通过小的更改，这些方法应该与其他支持的语言一起使用，包括Scala和R.

Answer 1

下载mysql-connector-java驱动程序并保存在spark jar文件夹中，观察这里将数据写入“acotr1”的bellow python代码，我们要在mysql数据库中创建acotr1表结构    spark = SparkSession.builder.appName("prasadad").master('local').config('spark.driver.extraClassPath','D:\spark-2.1.0-bin-hadoop2.7\jars\mysql-connector-java-5.1.41-bin.jar').getOrCreate()     sc = spark.sparkContext    from pyspark.sql import SQLContext     sqlContext = SQLContext(sc)     df = sqlContext.read.format("jdbc").options(url="jdbc:mysql://localhost:3306/sakila",driver="com.mysql.jdbc.Driver",dbtable="actor",user="root",password="Ramyam01").load()     mysql_url="jdbc:mysql://localhost:3306/sakila?user=root&password=Ramyam01"     df.write.jdbc(mysql_url,table="actor1",mode="append")