pyspider queue队列堵塞

Question

newtask_queque逐渐达到上限
随后fetcher2processor、scheduler2fetcher也相继达到上限
导致队列堵塞
已开启多个fetcher和processor，增大queue_size至10000，仍无法解决

Answer 1

部分project的rate太低了，终结这个毫无意义的提问....

Answer 2

排查一下，可能是fetcher和processor的吞吐不够，尝试提高fetcher数量和processor数量，优化爬虫逻辑