如何在IPython Notebook中加载jar依赖项

Question

如何在IPython Notebook中加载jar依赖项

这个页面鼓励我尝试使用spark-csv在PySpark中读取.csv文件我发现了一些帖子，比如这个描述如何使用spark-csv

但我无法通过在启动时包含.jar文件或包扩展来初始化ipython实例，这可以通过spark-shell完成。

也就是说，而不是

ipython notebook --profile=pyspark

我试过了

ipython notebook --profile=pyspark --packages com.databricks:spark-csv_2.10:1.0.3

但它不受支持。

请指教。

Answer 1

您可以简单地将其传递给PYSPARK_SUBMIT_ARGS变量。例如：export PACKAGES="com.databricks:spark-csv_2.11:1.3.0"export PYSPARK_SUBMIT_ARGS="--packages ${PACKAGES} pyspark-shell"在SparkContext/ SparkSession和相应的JVM启动之前，还可以在代码中动态设置这些属性：packages = "com.databricks:spark-csv_2.11:1.3.0"os.environ["PYSPARK_SUBMIT_ARGS"] = (     "--packages {0} pyspark-shell".format(packages))