我是第一次接触Scrapy框架。在Scrapy中爬取JSON文件中的数据时,用print检测发现为空,不知道是什么回事,请大神指教!
Python的环境是Python 3.7。尝试网上说的response.text()无效。
// 请把代码文本粘贴到下方(请勿用图片代替代码)
import scrapy
import json
from scrapy.http import Request
from urllib import parse
from MovieSpider.MovieSpider.items import MoviespiderItem
class MovieSpider(scrapy.Spider):
name = 'MovieSpider'
allowed_domains = ['movie.douban.com']
start_urls = ['https://movie.douban.com/j/search_subjects?type=movie&tag=%E5%86%B7%E9%97%A8%E4%BD%B3%E7%89%87&sort=rank&page_limit=20&page_start=0']
def parse(self, response):
list = json.loads(response.text())
print(list)
无报错,但是输出为空,求各位大神指教!
鸿蒙传说
相关分类