二：目标
举个 利用API 获取数据的例子：
下面有个 url 和一个需要POST的参数字典，需要构造完成后发送参数获取数据，判断数据是否需要进行下一页，如果需要那么 page 部分需要提取出来后加1，再继续请求数据。
其实要做的事情很简单，提取page 加1，继续请求。
raw_url = 'http://api.xxxxxx.com/xxxxxx/xxx.json?'param_dict = { 'id': 'xxxxx', 'card_addition': 1, 'token': 'fdflsdkr3029432', 'page': 145334,
}三：实战代码
当时在Scrapy 的 start_requests 大致这样写的
ids = pipeline.execute()for id in ids: self.param_dict['id'] = id.strip() param = urlencode(self.param_dict) url = self.raw_url + param yield scrapy.Request(url=url, callback=self.parse)#
然后在 parse 里面对response做判断如果还需要对该id下的数据抓取下一页数据。
当时我直接对response.url正则匹配再加上Python3与Python 2，对无序字典urlencode不一样就出现少匹配了很多页面的问题。所以回来我利用python内置的URL 处理模块，我就改了代码。
# 解析url，获取url里面的各种组成成分parsed_url = urlparse(response.url)# 获取url组成成分里面的 query 参数部分query = dict(parse_qsl(parsed_url.query))# 获取page的数值，加1后重新urlencode 这样 下一页的 url就构造完成了page = query.get('page')
query['page'] = int(page) + 1param = urlencode(query)
next_url = raw_url + param四： 后记
多多思考，多多搜索。加油！
作者：rieuse
链接：https://www.jianshu.com/p/e7c046144033