不同的链接指向的页面如果具有大量相同的内容，这种现象就会被称为“重复内容”，如果一个网站的重复内容很多，搜索引擎就会认为这个网站的价值不高。所以我们应尽量避免各种重复内容。
动态网站的重复内容常常是由URL参数引起的，而URL重写会恶化这一现象（比较耐人寻味哟，呵呵）。因为如果使用的是原始的URL参数的话，搜索引擎可能会进行适当的判断，而得知重复内容是由URL参数引起的，自动的进行相应的处理；而URL重写会掩盖URL参数，反而使得搜索引擎无法识别URL参数。
那么，两种方式我们如何选择呢？我的一些建议：
1. 尽量使用robots.txt，这既能降低网站的负载（虽然很小，呵呵），因为蜘蛛查看了robots.txt文件之后，就不会再请求被屏蔽的相关页面了；而如果使用meta方式，蜘蛛必须先请求该页面，再做出不检索的判断，这时Http请求已经发出了，服务器端的资源就已经浪费了；另外，如果过多的meta屏蔽，也会使蜘蛛对网站产生不佳的印象，减少或放弃该网站的检索收录；
2. robots.txt文本的匹配时从左到右的，这里就没什么正则匹配了！所以有的时候，我们不得不使用meta方式了。
最后，再讲一些注意事项：
1. 不要在所有页面使用相同的Keyword和Discription，这是我们很容易犯的一个错误，虽然articles.aspx是一个页面，但加上url参数后，就变成了成千上万个页面，如果你在页面上写死了Keyword和Discription，那将使这成千上万个页面都是一样的Keyword和Discription！
2. 尽量避免使用基于URL的SessionID。ASP.NET在客户端禁用cookie的情况下，可以设置使用基于URL的SessionID，