老师,如果在这个页面 https://movie.douban.com/top250中,只获取每条电影的链接,然后还要爬这个链接对应的页面信息。这样应该怎么设计和实现呢?

来源:-

Sky4480

2019-10-19 12:48

老师,如果在这个页面 https://movie.douban.com/top250中,只获取每条电影的链接,然后还要爬这个链接对应的页面信息。这样应该怎么设计和实现呢?而且页面比较多,不是250条,而是所有的,这个怎样设计比较好呢

http://img2.mukewang.com/5daa957d0001c77409260689.jpg

http://img3.mukewang.com/5daa957d000165c012090763.jpg


写回答 关注

1回答

  • Sky4480
    2019-10-23 13:57:39
    dont_filter=True

    加上这个就好了

Python最火爬虫框架Scrapy入门与实践

做为爬虫工程师Python Scrapy主流爬虫框架你必须要会!

67418 学习 · 223 问题

查看课程

相似问题