介绍：此程序是使用python做的一个爬虫小程序 爬取了python百度百科中的部分内容，因为这个demo是根据网站中的静态结构爬取的，所以如果百度百科词条的html结构发生变化 需要修改部分内容。词条链接 http://baike.baidu.com/item/Python
逻辑步骤:1.主程序部分，主要初始化程序中需要用到的各个模块分为(1)链接管理模块。(2)链接下载保存模块 (3)解析网页模块 (4)输出解析内容模块，然后就是写抓取网页内容的方法。如果你在学习Python的过程中遇见了很多疑问和难题，可以加-q-u-n 227 -435-450里面有软件视频资料免费
下边为爬取方法代码：
2.链接管理模块 中实现四个方法a.向存储链接的表中添加需要爬取的新的链接add_new_url b. 批量添加新链接 add_new_urls c.判断链接表中是否有待爬取的新链接has_new_url d.取一个待爬取的新链接 并将这个链接从链接表中移除（防止重复爬取相同内容）get_new_url
部分代码：
3.链接下载模块
使用urllib2进行需要爬取的链接的下载 （文末附上urllib2开发文档链接）
4.网页解析模块
网页解析使用beautifulsoup4库进行操作（文末附上beautifulsoup4开发文档链接）
5.输出内容
将爬取的内容以html形式保存在本地（代码成功运行后再工程project下刷新会有一个html文件）
作者：小天真_5eeb
链接：https://www.jianshu.com/p/ac64ffc2a17d
随时随地看视频
