继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

gerapy分布式爬虫管理工具

爬虫标本
关注TA
已关注
手记 22
粉丝 11
获赞 54

首先安装依赖的模块:

pip install pymongo

pip install gerapy

(建议:内外环境都安装)

创建新文件夹:WORK_GERAPY ——> 在此路径下运行cmd命令行,

输入:gerapy init   生成gerapy文件夹

https://img.mukewang.com/5c068580000132be11110354.jpg

命令行输入: cd gerapy 

在输入:gerapy migrate

https://img1.mukewang.com/5c06867c0001d29d09500776.jpg

启动gerapy

命令输入:gerapy runserver

https://img3.mukewang.com/5c0686f20001280e08940683.jpg

(注意:需要在cmd启动 scrapy )

https://img1.mukewang.com/5c068b7e00014b5908440432.jpg

到这里gerapy已经启动了

打开浏览器:访问管理平台界面 http://localhost:8000

https://img2.mukewang.com/5c0687f10001108216940300.jpg

创建主机:

https://img3.mukewang.com/5c06882f00014b6d08950384.jpg

添加项目:

找到需要部署的爬虫项目文件夹,复制到所创建的 projects路径下

https://img4.mukewang.com/5c0688ae00019e7405330136.jpg

回到平台界面,

https://img2.mukewang.com/5c068926000135b416940293.jpg

https://img.mukewang.com/5c06898f0001d4c216640683.jpg

回到主机管理:

https://img3.mukewang.com/5c0689c60001f7e416900339.jpg

到此项目部署结束,运行项目

https://img.mukewang.com/5c068a37000161d616660418.jpg


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP