请问PHP如何执行大批量json数据

目前再做一个东西,需要使用PHP的curl功能,从一个json数据里面读出数据,然后循环到curl里面抓取数据。

这个本身没啥很简单,但是目前的问题是json数据量太大了【十几万左右】,没法一次性抓取数据,每次手动从大的json数据里面复制20-30个,然后执行curl,但是想想十几万的数据量,细思极恐。

大概想法是能不能每次按顺序读取20个数据,然后执行,执行第N遍停止,或者每次执行前20个数据,执行完成之后删除数据。

json数据非常简单,下面只是简单举例,实际上是英文的

'11111','22222','33333','44444','55555','66666'……

简单说就是上面的json加入某个网址循环curl抓取,比如:
http://xxoo.com/id/11111
http://xxoo.com/id/22222
http://xxoo.com/id/33333
...
因为是虚拟主机,无法大批量的抓取,所以考虑每次抓取20-30个,积少成多,把十几万的数据抓取完

慕村9548890
浏览 283回答 3
3回答

哔哔one

实际上 JSON 并不适合用来处理特别大量的数据,因为它要求很严格的数据结构。所以第一步你应该考虑是否可以不用 JSON,就用 CSV 之类的文件结构。 如果非要用 JSON,那么可能只有自己写解析器了,思路大体是读若干字节,然后解析出你要的内容,如此反复。你必须忽略一些结构,因为 JSON 要求只有一个根,所以最外层的结构多半要忽略掉。然后根据你对文件结构的预判,解析出你要的数据。

芜湖不芜

这个本身没啥很简单,但是目前的问题是json数据量太大了【十几万左右】,没法一次性抓取数据,每次手动从大的json数据里面复制20-30个,然后执行curl,但是想想十几万的数据量,细思极恐。 这里停一下,JSON数据量太大是每次执行的数据量太大还是单次就这么大。另外不能一次性全抓大根本是什么?手动?另外CURL可以并行执行,好吧,其实我没太懂说得是什么
打开App,查看更多内容
随时随地看视频慕课网APP