我的robots文件不起作用

Question

这个是我用爱站工具生成的robots。txt文件，检测显示规则无效，这个是什么原因呢

Answer 1

禁止的话只要Disallow: /那句就行了，后边的规则一没有必要，二不需要把整段URL都抄上去，毕竟你写的是规则。最后那条的sitemap你自己找一下吧。另外，robots.txt只是一种君子协定，并不能实质阻止蜘蛛的抓取，有条件的话最好还是在前级用UA做判断条件阻止一下，会更有效。robots.txt我觉得做引导比做阻止效果更好。