Python分布式爬虫实战(二) - 搭建 Mac 开发环境

0 环境及版本

系统

• Mac OS
  

IDE

PyCharm 2018.3.5

数据库

• MySQL 5.7
  
  Redis, elasticsearch

开发环境

virtualenv

1 Pycharm的安装及简单使用

下载 PyCharm

设置快捷键

设置解释器

2 MySQL和Navicat的安装和使用

2.1 MySQL

下载与安装

2.2 Navicat

3 Python安装

推荐py3.5+版本

4 virtualenv和virtualenvwrapper安装和配置

4.1 virtualenv简介

每个应用可能需要各自拥有一套独立的Python运行环境。virtualenv就是用来为一个应用创建一套隔离的Python运行环境。

优点

• 使不同应用开发环境独立
• 环境升级不影响其他应用，也不会影响全局的python环境
• 防止系统中出现包管理混乱和版本的冲突

它是将全局Python解释器进行私有化复制
如果不使用虚拟环境，默认的pip安装都会安装到同一个目录(java是把自己需要的包放到自己项目目录)，不同项目使用起来会产生问题

安装

pip install virtualenv

查看 virtualenv

4.2 virtualenvwrapper 简介

virtualenv的扩展管理包，用于更方便管理虚拟环境

优点

• 将所有虚拟环境整合在一个目录下
• 管理(新增，删除，复制)虚拟环境
• 切换虚拟环境

安装

• 查询安装路径
  

• 修改.bash_profile
  

在最后加入：

export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_SCRIPT=/Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh
export VIRTUALENVWRAPPER_PYTHON=/Library/Frameworks/Python.framework/Versions/2.7/bin/python2
export VIRTUALENVWRAPPER_VIRTUALENV=/Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenv
export VIRTUALENVWRAPPER_VIRTUALENV_ARGS='--no-site-packages'
source /Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh

• 立即生效
  

• 到其工作目录
  

• 查看当前系统py版本
  
  为py2.7

• 现在,希望创建py3的环境

• 查询py3位置
  

• 创建py3环境
  

• 查看python版本
  

其他常用的命令：

$ workon                显示所有的环境名称
$ workon 环境名          进入/切换到该环境

• deactivate 返回到系统环境
  

$ rmvirtualenv          移除环境