手记

gerapy分布式爬虫管理工具

首先安装依赖的模块:

pip install pymongo

pip install gerapy

(建议:内外环境都安装)

创建新文件夹:WORK_GERAPY ——> 在此路径下运行cmd命令行,

输入:gerapy init   生成gerapy文件夹

命令行输入: cd gerapy 

在输入:gerapy migrate

启动gerapy

命令输入:gerapy runserver

(注意:需要在cmd启动 scrapy )

到这里gerapy已经启动了

打开浏览器:访问管理平台界面 http://localhost:8000

创建主机:

添加项目:

找到需要部署的爬虫项目文件夹,复制到所创建的 projects路径下

回到平台界面,

回到主机管理:

到此项目部署结束,运行项目


0人推荐
随时随地看视频
慕课网APP