http代理ip:爬虫的基本原理？-原创手记-慕课网

我们通常会把互联网比喻成为一个大的蜘蛛网，而网络爬虫就是在蜘蛛网上爬行的蜘蛛。把网的节点形容成为网页，一个个节点就是一个个网页，爬虫爬到了节点就相当于访问了该页面，获取到了信息。把节点之间的连线比喻做网页和网页之间的链接关系，这样蜘蛛通过一个节点之后，就可以顺着几点连线继续爬行到达下一个节点。也就说通过一个网页继续获取

后面的网页，这样的话整个网的节点就可以被蜘蛛全部爬取，网站的数据就可以被抓下来了。

那么我们通常说的爬虫是什么东西呢？

简单的说爬虫就是获取网页并提取和保存信息的自动化程序。下面犀牛代理就为大家简单的介绍一下

(1) 获取网页

首先爬虫所要做的工作就是获取网页，这里就是获取网页的源代码。源代码包含了网页的部分有用的下信息，就要把源代码获取下来，可以从中提取到想要的信息。

爬虫代理IP

(2) 提取信息

获取到网页源代码之后后，接下来的工作的就是分析网页源代码，从中提取我们想要得到的数据信息。最通用的方法便是采用正则表达式提取，这是常用的万能法，但是这种方法也有弊端，在构造正则表达式时比较复杂且容易出错。

另外，由于网页的结构有自己一定的规则，所以还有一些根据网页节点属性、CSS选择器或XPath来提取网页信息的库，如Beautiful Soup、pyquery、lxml等。使用这些库，我们可以高效快速地从中提取网页信息，如节点的属性、文本值等。

爬虫非常重要的一部分就是提取信息，爬虫可以使杂乱无章的数据得到条理的清晰，以方便我们之后要处理和分析数据

(3) 保存数据

提取到信息之后，我们一般会将提取得到的数据保存到盘内或者是自己设置的某个地方，以方便之后的使用。这里保存的形式还是很多的，最简单的保存就是保存为样，TXT文本或JSON文本，也可以保存到数据库，如MySQL和MongoDB等，也可保存至远程服务器，如借助SFTP进行操作等。

(4) 自动化程序

自动化程序就是说爬虫可以代理人工来完成这些操作。当信息量特别小的时候，我们可以采用人工来进行信息的采集，但是当出现大批量信息的时候或者想要加快获取大量信息数据的时候，我们就需要依靠借助程序的力量。那么爬虫就是代替我们来完成这份爬取工作的自动化程序，爬虫可以在抓取过程中进行各种异常处理、错误重试等操作，确保爬取持续高效地运行。

2. 能抓怎样的数据

我们可以在网页种看到各种各样的信息，最常见的就是常规的网页，它们对应着HTML代码，而最常抓取的便是HTML源代码。比如我们搜索的“犀牛代理”另外，部分网页返回的并不是html代码，而是一个JSON字符串（其中API接口大多采用这样的形式），这样的格式数据在传输和解析上还是很方便的，他们同样可以抓取，而且数据提取更加方便。

此外，我们还可以看到各种二进制数据，如视频，图片音频等。利用爬虫，我们可以将这些二进制数据抓取下来，然后保存成对应的文件名。

另外，还可以看到各种扩展名的文件，如CSS、JavaScript和配置文件等，这些其实也是最普通的文件，只要在浏览器里面可以访问到，就可以将其抓取下来。

上述内容其实都对应各自的URL，是基于HTTP或HTTPS协议的，只要是这种数据，爬虫都可以抓取。

3. JavaScript渲染页面

爬虫代理ip

有时候，我们在用urllib或requests抓取网页时，得到的源代码实际和浏览器中看到的不一样。

这是一个非常常见的问题。现在网页越来越多地采用Ajax、前端模块化工具来构建，整个网页可能都是由JavaScript渲染出来的，也就是说原始的HTML代码就是一个空壳，例如：

<!DOCTYPE html>

<html>

<head>

</head>

<body>

</div>

</body>

</html>

body节点里面只有一个id为container的节点，但是需要注意在body节点后引入了app.js，它便负责整个网站的渲染。

在浏览器中打开这个页面时，首先会加载这个HTML内容，接着浏览器会发现其中引入了一个app.js文件，然后便会接着去请求这个文件，获取到该文件后，便会执行其中的JavaScript代码，而JavaScript则会改变HTML中的节点，向其添加内容，最后得到完整的页面。

但是在用urllib或requests等库请求当前页面时，我们得到的只是这个HTML代码，它不会帮助我们去继续加载这个JavaScript文件，这样也就看不到浏览器中的内容了。

这也解释了为什么有时我们得到的源代码和浏览器中看到的不一样。

因此，使用基本HTTP请求库得到的源代码可能跟浏览器中的页面源代码不太一样。对于这样的情况，我们可以分析其后台Ajax接口，也可使用Selenium、Splash这样的库来实现模拟JavaScript渲染。