卡卡网

我们有时需要在 robots.txt Disallow和Allow某一目录或文件，但是不知道该如何去写。其实，对于有关联的目录来说，我们只需遵循一个原则，就好处理了，那就是：先写Disallow再写Allow。我们看看Google的 robots.txt ，如图看到：先 Disallow /search 这个目录，再 Allow /search/about 这个目录或文件。

创建 robots.txt 文件很简单，您可以在任何文本编辑器中创建一个 robots.txt 文件，它是ASCII编码的文本文件，而不是HTML文件。本文将详细介绍 robots.txt 的语法及用法，以及各种注意问题。

今天看到群里有人说被一俄罗斯爬虫一天内访问网站几千次，想屏蔽它，其实，类似这样的问题解决方案网上有不少文章，屏蔽俄罗斯爬虫跟屏蔽百度蜘蛛的原理是一样的，可以通过如下四种方法来处理。

了解各大搜索引擎蜘蛛爬虫的UA，对我们进行某些程序编写十分有用，例如网页判断客户端来源时，UA是常用的标准之一。本文收集了各大搜索引擎的蜘蛛爬虫UA，以便需要时查阅。