爬虫如何确定什么时候停止

Question

想问一下，写一个爬虫，如何判断该爬虫什么时候应该停止呢？
初始状态为一个url；然后有一个

while(isNotEmpty(urlList)){    // do something}

我的思路是这样，但是会有放入队列url 的速度跟不上消费的速度，以至于出现了urlList为空的情况，这时候爬虫就停掉了。我想问下，有哪位大牛自己写过爬虫的框架，是根据什么条件决定爬虫停止运行的。

Answer 1

思路有点奇怪，urlList的链接也是自己放进去吧，放一个爬一个不就行了。什么时候不往urlList放链接爬虫就停了。