python爬虫多线程假死怎么解决？

Question

python爬虫多线程假死怎么解决

Answer 1

如果是爬虫的话，这个一般都是由于网络原因造成的卡住，可以做两层控制：在HTTP请求上设置好超时时间，最好设定sockect的超时，这样更底层一些。在上层做一个检测机制，定时轮询线程是否正常，如果遇到不响应的直接kill掉。