scrapy爬虫循环页码这样对吗?

scrapy爬虫,要爬取1-100页的内容,用循环把网址生成,代码如下:

def start_requests(self):
    pages=[]    
    for i in range(1,100):
        newpage=scrapy.Request("http://www.yyyy.com/yyy/yyy-list.php?page=%s"%i)
        pages.append(newpage)return pages

这样对吗?


尚方宝剑之说
浏览 1355回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP