如何编写一个简易的node爬虫获取任意网址的title呢？

Question

方法的参数为url 然后 返回值为 title。

如：

function getTitle(url){

 .......

 return title

}

getTitle('http://www.baidu.com')  

得到 "百度"

getTIttle('http://www.126.com') 

得到 "网易邮箱"

如何写一个方法获取任意网址的title呢？

Answer 1

纯前端使用ajax或者iframe都会存在跨域问题。需要服务端进行请求指定地址，获取到地址对应的页面，然后提取出title标签中内容。

Answer 2

使用superagent+cheeriosuperagent.get(url)    .end((err, res) => {        const $ = cheerio.load(res.text)        console.log($('title').text())    })

Answer 3

获取任意网址的html页面，获取页面中<title>标签里面的内容。如果想封装成一个方法，那就将不同的功能分别写成函数，依次调用。

Answer 4

需要通过ajax获取指定url的页面内容,然后再从中分析出其标题

Answer 5

任意是做不到的，因为有的网站对cookie有要求，不符合的话是直接403的。对于没有验证要求的网站，最基本的使用http.get获取html再解析即可。解析可以用正则或者cheerio