在add_new_urls方法内，是不是应该也判断下添加的新的urls是否在self.old_urls里面？

Question

for url in urls:
    if url not in self.old_urls:
        self.new_urls.add(url)

如果不添加的话，就会重复爬取吧？

Answer 1

问错地方了