如何防止网站刮刮？

Question

我有一个大型音乐网站，拥有大型艺术家数据库。我一直注意到其他音乐网站正在抓取我们网站的数据（我在这里和那里输入虚拟的艺术家名称，然后用google搜索它们）。

如何防止屏幕刮擦？可能吗

Answer 1

我想你已经成立了robots.txt。正如其他人提到的那样，抓取工具可以伪造其活动的几乎所有方面，并且很难识别来自坏人的请求。我会考虑：设置页面/jail.html。禁止访问中的页面robots.txt（因此，尊敬的蜘蛛将永远不会访问）。将链接放在您的页面之一上，并用CSS（display: none）将其隐藏。记录访问者的IP地址/jail.html。这可能有助于您快速识别来自刮板的请求，而这些请求显然无视您的robots.txt。你可能也想使你的/jail.html整个整个网站具有相同的，准确的标记为正常的网页，而是用假数据（/jail/album/63ajdka，/jail/track/3aads8等）。这样，只有当您有机会完全阻止它们时，不良的刮板才会收到“异常输入”的警报。