nginx下PHP 部分curl和file_get_content得到的数据不完整

Question

本地Apache，用curl和file_get_content爬虫得到的数据都是完整的。部署到nginx服务器上，不论用curl还是file_get_content，同一页面有的时候数据只能获取一半，大多时候数据是完整的。这是什么原因呢。

Answer 1

嗯猜测一下默认获取长度在nginx上有限制，或者请求时间收到限制导致获取的数据不完整。还需要进行相关验证。毕竟也没遇到过这种情况。刚才下去查了一下，Nginx的buffer机制，对于来自FastCGIServer的Response，Nginx将其缓冲到内存中，然后依次发送到客户端浏览器。缓冲区的大小由fastcgi_buffers和fastcgi_buffer_size两个值控制。应该就是这个原因。具体可以参考这个链接里面的内容nginxbuffer