pyspider如何手动判断某个url是否已经爬取过

Question

想实现爬列表页的时候，发现有已经被爬过的文章url就停止列表爬取，否则继续下一页，如何实现？

Answer 1

爬过的url写进记录里面,比如pickle文件。需要的时候调出来检查一下就知道了。