用Python进行Web抓取

Question

用Python进行Web抓取

我想从网站上获取每日日出/日落的时间。是否有可能用Python抓取Web内容？使用的模块是什么？有可用的教程吗？

Answer 1

我真的很推荐Scrapy。引用已删除的答覆：抓取比机械化更快，因为它使用异步操作(在Twisted之上)。scrapy对libxml 2之上的解析(X)html有更好和最快的支持。scrapy是一个成熟的框架，包含完整的Unicode、句柄重定向、gzip响应、奇数编码、集成的http缓存等。一旦您进入Scrapy，您可以在不到5分钟内编写一个蜘蛛，下载图像、创建缩略图并将提取的数据直接导出到CSV或JSON。