猿问

如何在虚拟环境中选择合适的 Python 版本?

我创建了一个虚拟环境并运行 PySpark 脚本。如果我在 MacOS 上执行这些步骤,一切正常。但是,如果我在 Linux (Ubuntu 16) 上运行它们,则会选择不正确的 Python 版本。当然,我以前export PYSPARK_PYTHON=python3在Linux上做过,但还是同样的问题。下面我解释所有步骤:


1. edit profile :vim ~/.profile


2. add the code into the file: export PYSPARK_PYTHON=python3


3. execute command:  source ~/.profile

然后我这样做:


pip3 install --upgrade pip

pip3 install virtualenv

wget https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

tar -xvzf spark-2.4.0-bin-hadoop2.7.tgz && rm spark-2.4.0-bin-hadoop2.7.tgz


virtualenv tes-ve 

source test-ve/bin/activate && pip install -r requirements.txt

如果我python --version在视觉环境中执行,我会看到Python 3.5.2.


但是,当我使用以下命令运行 Spark 代码时:sudo /usr/local/spark-2.4.0-bin-hadoop2.7/bin/spark-submit mySpark.py,我得到Using Python version 2.7...了以下代码行:


print("Using Python version %s (%s, %s)" % (

    platform.python_version(),

    platform.python_build()[0],

    platform.python_build()[1]))


当年话下
浏览 218回答 1
1回答
随时随地看视频慕课网APP

相关分类

Python
我要回答