【学习打卡】第2天 Scrapy打造搜索引擎 深度优先与广度优先、url去重、unicode与utf8编码

课程名称：Scrapy打造搜索引擎(分布式爬虫)

课程章节： 爬虫基础知识回顾

主讲老师：bobby

课程内容：

今天学习的内容包括：URL去重、深度优先遍历与广度优先遍历、爬虫去重策略、字符串编码

课程收获：

1.网站其他网页会有链接指向首页，而首页又会有链接指向其他页面，这样则会造成循环爬取网页，陷入死循环

2.如何解决该问题？将已经爬取的URL地址将入至列表内，表示已经被查询

深度优先遍历与广度优先遍历

爬虫去重策略

字符串编码