问题描述我现在有一个网站域名列表,里面有数万个域名,想先定位到每个网站的sitemap,然后把每个sitemap里面的新闻,财经,科技三个大类的url抓取出来,但是因为每个网站结构都不一样,想用一个爬虫很难实现,有人建议可以训练一个模型来识别,但不知道具体步骤,或者有什么别的方式可以推荐一下吗?求大神解答!提供一下思路即可!
我现在有一个网站域名列表,里面有数万个域名,想先定位到每个网站的sitemap,然后把每个sitemap里面的新闻,财经,科技三个大类的url抓取出来,但是因为每个网站结构都不一样,想用一个爬虫很难实现,有人建议可以训练一个模型来识别,但不知道具体步骤,或者有什么别的方式可以推荐一下吗?求大神解答!提供一下思路即可!
波斯汪
相关分类