用Python写网络爬虫怎么样？

Question

用Python写网络爬虫怎么样

Answer 1

python非常适合写网络爬虫，语法简单，代码简练，可用的库成熟强大。常用的库有urllib2、 requests 、selenium 、Scrapy框架等，一般简单的网页连接登录用requests就好了，使用简单、功能强大；HTML内容用BeautifulSoup解析就ok了，lxml、html.parser都是很方便的解析库，和正则表达式搭配使用效果更佳。处理JavaScript的动态HTML,用selenium+PhantomJS或firefox的网站自动化测试的思路就可以做到。存储数据建议用mongdb数据库，都是超简单的操作。处理验证码可以训练Tesseract做到。如果网站有api的话，那将是最快速、最方便的数据采集途径了。另外，python是进行数据处理最好的编程语言了，数据的采集是数据处理的第一步。