没有报错,却没有抓取到任何内容,哪里的问题?

来源:2-7 spider文件的编写(2)

慕桂英8572775

2019-06-22 15:41

跟着老师敲的代码,如下:

spider文件

def parse(self, response):
    movie_list = response.xpath("//div[@class='article']//ol[@class='grid_view']/li")
    for i_item in movie_list:
        print(i_item)


main.py文件

from scrapy import cmdline
cmdline.execute('scrapy crawl douban_spider'.split())

结果如下:
ssh://root@192.168.0.105:22/usr/bin/python -u /tmp/pycharm_project_368/douban/main.py2019-06-22 15:26:48 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: douban)2019-06-22 15:26:48 [scrapy.utils.log] INFO: Versions: lxml 4.3.3.0, libxml2 2.9.9, cssselect 1.0.3, parsel 1.5.1, w3lib 1.20.0, Twisted 19.2.1, Python 3.7.3 (default, Jun  8 2019, 20:54:20) - [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)], pyOpenSSL 19.0.0 (OpenSSL 1.1.1c  28 May 2019), cryptography 2.7, Platform Linux-3.10.0-957.12.2.el7.x86_64-x86_64-with-centos-7.6.1810-Core2019-06-22 15:26:48 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'douban', 'DOWNLOAD_DELAY': 0.5, 'NEWSPIDER_MODULE': 'douban.spiders', 'SPIDER_MODULES': ['douban.spiders'], 'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36'}2019-06-22 15:26:48 [scrapy.extensions.telnet] INFO: Telnet Password: f6bac12af7a084dd2019-06-22 15:26:48 [scrapy.middleware] INFO: Enabled extensions:['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.memusage.MemoryUsage', 'scrapy.extensions.logstats.LogStats']2019-06-22 15:26:48 [scrapy.middleware] INFO: Enabled downloader middlewares:['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats']2019-06-22 15:26:48 [scrapy.middleware] INFO: Enabled spider middlewares:['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware']2019-06-22 15:26:48 [scrapy.middleware] INFO: Enabled item pipelines:[]2019-06-22 15:26:48 [scrapy.core.engine] INFO: Spider opened2019-06-22 15:26:48 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)2019-06-22 15:26:48 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:60232019-06-22 15:26:53 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET https://movie.douban.com/> from <GET http://movie.douban.com/>2019-06-22 15:26:53 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://movie.douban.com/> (referer: None)2019-06-22 15:26:53 [scrapy.core.engine] INFO: Closing spider (finished)2019-06-22 15:26:53 [scrapy.statscollectors] INFO: Dumping Scrapy stats:{'downloader/request_bytes': 590, 'downloader/request_count': 2, 'downloader/request_method_count/GET': 2, 'downloader/response_bytes': 21592, 'downloader/response_count': 2, 'downloader/response_status_count/200': 1, 'downloader/response_status_count/301': 1, 'finish_reason': 'finished', 'finish_time': datetime.datetime(2019, 6, 22, 7, 26, 53, 983799), 'log_count/DEBUG': 2, 'log_count/INFO': 9, 'memusage/max': 44638208, 'memusage/startup': 44638208, 'response_received_count': 1, 'scheduler/dequeued': 2, 'scheduler/dequeued/memory': 2, 'scheduler/enqueued': 2, 'scheduler/enqueued/memory': 2, 'start_time': datetime.datetime(2019, 6, 22, 7, 26, 48, 290474)}2019-06-22 15:26:53 [scrapy.core.engine] INFO: Spider closed (finished)Process finished with exit code 0


写回答 关注

1回答

  • 慕桂英8572775
    2019-06-22 16:01:29

    找到问题了,url没有添加top250

Python最火爬虫框架Scrapy入门与实践

做为爬虫工程师Python Scrapy主流爬虫框架你必须要会!

67418 学习 · 223 问题

查看课程

相似问题