scrapy_redis中的redis_key的问题

Question

redis_key = 'jingzhun:starturls' 这个从lpush 里面来的，但是我现在要给这个push的地址加上cookie 和header 才能获取数据，请问这个如何处理呢？

Answer 1

重写scrapy_redis的这个方法def make_request_from_data(self, data):         """Returns a Request instance from data coming from Redis.         By default, ``data`` is an encoded URL. You can override this method to         provide your own message decoding.         Parameters         ----------         data : bytes             Message from redis.         """         url = bytes_to_str(data, self.redis_encoding)        return self.make_requests_from_url(url)或者return中调用的那个方法，自定义请求。