禁止自己的网站被爬虫爬去？

首页课程实战体系课手记专栏慕课教程

禁止自己的网站被爬虫爬去？

禁止自己的网站被爬虫爬去？有什么方法啊

开心每一天1111

浏览 1297回答 2

2回答

守着星空守着你

加一个robots.txt文件，内容：User-agent: * Disallow: /

0 0

随时随地看视频慕课网APP

相关分类

爬虫: 爬虫抓取网页内容时，如何保证登陆状态？ 1 回答; 学习Python编程有哪些爬虫技术需要掌握？ 1 回答