网站robots.txt相信作为网站的一个必须文件，每一个站长都接触过，robots文件控制蜘蛛的爬取，对文件的抓取具有很重要的意义，可以防止不想让曝光的文件隐藏起来，控制抓取的路径，从而让网站更加合适的出现在搜索引擎SERP界面中，那么，这篇文章就介绍一些robots的实用案例介绍robots的技巧和解释一下robots语句的判别方法。
(1)：allow和disallow的顺序案例
笔者书写一段robots文件的语句
User-agent: *
Allow: /
Disallow: /abcd/
相信从这样一段中可以理解，肯定是想屏蔽/abcd/文件夹，不让蜘蛛爬取这个文件夹中的网站文件;但是经过分析却发现，这段语句和最终所造成的结果却是大相径庭的，蜘蛛任然会爬取/abcd/文件夹;原因就在于蜘蛛从这里的获取的规则是从上而下获取的，在下面所写的规则不能打败在上面所写的规则，如果按照影响范围来解释上面的情况的话，那就是，因为已经设置了“Allow: /”那么对蜘蛛的影响是全局性的，允许蜘蛛访问这个网站所有的文件，而在第三行中，“Disallow: /abcd/”，设置之后，就是在前一个影响范围之中进行的，本身abcd文件夹就是在网站目录中，也收到了第二条的影响，所以，第三条是无效的，那么可以说来，这段robots.txt的写法中，蜘蛛任然可以抓取/abcd/文件夹。
User-agent: *
Disallow: /abcd/
Allow: /
这个例子仅仅是将顺序颠倒了一番，可是去可以让蜘蛛访问/abcd/文件夹，如果你看懂了上一个例子的解释的话，那么你肯定知道是为什么?笔者来说下吧，这个例子中，由于“Disallow: /abcd/”在前面，那么由于限制的出现，它所影响的文件夹是/abcd/文件夹，在第三行中“Allow: /”，影响的范围本来是全局，但这条语句对蜘蛛的影响不能妨碍前一条语句，所以，蜘蛛本来想通过第三条语句访问全部的目录的，但是第三条语句的权限打败不了第二条语句，所以就只能放弃了，只能访问除了/abcd/之外的文件夹了。
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
评论