python 爬虫要不要用框架？

Question

python 爬虫要不要用框架

Answer 1

简单的爬虫，用用内置模块urllib，urllib2就可以了想要方便写出诸如认证，登录，用到cookie，session，采用第三方库requests可满足如果想做大规模数据采集，爬虫的话还是用框架比较方便，比如scrapy具体得看你的需求是什么，然后采用合适的方式。