猿问

连续的分页采集问题

目标站点:http://news.xinhuanet.com/photo/2015-01/29/c_127433852.htm获取内容:正文图片和文字说明;本人实现方法:
因为分页地址是连续的,我是在目标地址上做循环
http://news.xinhuanet.com/photo/2015-01/29/c_127433852_2.htm
用get_headers访问后获取返回是否为200,是的话进行内容抓取
1、curl获取当前地址html后,截取所需内容
2、_2这个就是变量,自增后继续判断下一页是否可以访问,可以访问就继续采集
以上是可以实现采集抓取的,但是好像速度很慢,而且每次都是curl去抓取对服务器貌似也有压力
问题:如何改进,大家是如何用php做的抓取,求思路和方向
凤凰求蛊
浏览 369回答 1
1回答

皈依舞

下面不是有分页么,直接获取里面的链接存到数组抓吧
随时随地看视频慕课网APP

相关分类

JavaScript
我要回答