robots.txt 文件是作为禁止搜索引擎抓取的最常用的手段和方法，但是该方法并不能完全阻止搜索引擎的收录的索引，那么我们此时就可以使用网页 meta 标签来实现完全的禁止搜索引擎收录索引。
直接上代码：
1.拦截所有搜索引擎收录和索引网页
1 | <meta name="robots" content="noindex,nofollow"> |
2.只拦截百度蜘蛛，而允许其他搜索引擎索引收录
1 | <meta name="baiduspider" content="noindex,nofollow"> |
3.允许搜索引擎收录索引网页，但禁止继续追踪页面链接
1 | <meta name="robots" content="nofollow"> |
4.允许搜索引擎收录索引网页，但禁止收录网页上的图片：
1 | <meta name="robots" content="noimageindex"> |
大家可以根据自己的实际需求将以上代码放置在自己某个具体网页的 head 头部中，例如很多网站的后台登录页面等等，同样如果你的某些网页被搜索引擎已经收录索引了，添加禁止标签后当搜索引擎再次抓取更新的时候是会被移除的。
但是需要注意的是，该禁止标签注意使用，千万不可放这个标签用于使用模板或主题的 head 中了，不然你的整个网站都将可以被影响，操作错误可能就直接影响了整个网站的收录。
原文出处：https://www.cnblogs.com/smuwgeg/p/9557183.html