scrapy爬虫,要爬取1-100页的内容,用循环把网址生成,代码如下:
def start_requests(self): pages=[] for i in range(1,100): newpage=scrapy.Request("http://www.yyyy.com/yyy/yyy-list.php?page=%s"%i) pages.append(newpage)return pages
这样对吗?
相关分类