scrapy 在抓取数据的时候 cookie 传递的不一样

    self.co_headers = {"Referer": "https://rong.36kr.com/list/detail&?sortField=HOT_SCORE",                               "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
                , "Host": "rong.36kr.com", "cookie": self.cookie_str, ":authorit": "rong.36kr.com"}
            
 这是headers 和cookie 放在一起的self.headers = {"Referer": "https://rong.36kr.com/list/detail&?sortField=HOT_SCORE",                        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
            , "Host": "rong.36kr.com"}
            
 这个是单独的header
cookie 单独通过字典给他传过去
cookies=cookie,headers=headers这样才可以
scrapy 在传递cookie的时候 有时候把cookie 写到co_header 里面 有时候把headers 和cookie 单独列出来,这是为啥?有人知道吗?


德玛西亚99
浏览 1056回答 1
1回答

狐的传说

没区别吧。主要看cookies格式。scrapy发送请求也是通过requests这个库。headers里面coookies=‘{}={};{}={}’格式,单独拎出来的话cookies={}是一个字典而已,最后都会转化成cookiejar接受的格式而已。
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python