目前再做一个东西,需要使用PHP的curl功能,从一个json数据里面读出数据,然后循环到curl里面抓取数据。这个本身没啥很简单,但是目前的问题是json数据量太大了【十几万左右】,没法一次性抓取数据,每次手动从大的json数据里面复制20-30个,然后执行curl,但是想想十几万的数据量,细思极恐。大概想法是能不能每次按顺序读取20个数据,然后执行,执行第N遍停止,或者每次执行前20个数据,执行完成之后删除数据。json数据非常简单,下面只是简单举例,实际上是英文的'11111','22222','33333','44444','55555','66666'……简单说就是上面的json加入某个网址循环curl抓取,比如:http://xxoo.com/id/11111http://xxoo.com/id/22222http://xxoo.com/id/33333...因为是虚拟主机,无法大批量的抓取,所以考虑每次抓取20-30个,积少成多,把十几万的数据抓取完
收到一只叮咚
HUWWW
相关分类