猿问
禁止自己的网站被爬虫爬去？
禁止自己的网站被爬虫爬去？有什么方法啊
开心每一天1111
浏览 1297
回答 2
2回答
守着星空守着你
加一个robots.txt文件，内容：User-agent: * Disallow: /
0
0
0
随时随地看视频
慕课网APP
相关分类
爬虫
爬虫抓取网页内容时，如何保证登陆状态？
1 回答
学习Python编程 有哪些爬虫技术需要掌握？
1 回答
我要回答