Python爬虫所用到的技术有哪些

Question

Python爬虫所用到的技术有哪些

Answer 1

Django、Flask、web都是开发框架，爬虫最基本要有 urllib、urllib2/requests这些库，提取工具一般要xpath、bs4、正则这些、Scrapy是爬虫的框架，可以做深度爬取，分布式爬虫。最重要的是攻破反爬的经验~