卡卡网

我们有时需要在 robots.txt Disallow和Allow某一目录或文件，但是不知道该如何去写。其实，对于有关联的目录来说，我们只需遵循一个原则，就好处理了，那就是：先写Disallow再写Allow。我们看看Google的 robots.txt ，如图看到：先 Disallow /search 这个目录，再 Allow /search/about 这个目录或文件。

创建 robots.txt 文件很简单，您可以在任何文本编辑器中创建一个 robots.txt 文件，它是ASCII编码的文本文件，而不是HTML文件。本文将详细介绍 robots.txt 的语法及用法，以及各种注意问题。

今天看到群里有人说被一俄罗斯爬虫一天内访问网站几千次，想屏蔽它，其实，类似这样的问题解决方案网上有不少文章，屏蔽俄罗斯爬虫跟屏蔽百度蜘蛛的原理是一样的，可以通过如下四种方法来处理。

了解各大搜索引擎蜘蛛爬虫的UA，对我们进行某些程序编写十分有用，例如网页判断客户端来源时，UA是常用的标准之一。本文收集了各大搜索引擎的蜘蛛爬虫UA，以便需要时查阅。

我们在分析访问日志时，往往要判断各种来路，包括各种搜索引擎来路、真实访客来路、直接输入来路、网页推介来路、各种蜘蛛来路等，而对于蜘蛛来路而言，百度蜘蛛又尤为重要分析的部分。那么我们如何识别百度蜘蛛呢？近日，官方给出了两种说法，一种是通过UA来识别，另一种是通过反查IP来识别。

我们统计网站流量，遇到百度蜘蛛的时候，为了更好更细的统计，需要把百度蜘蛛的移动端和PC端分别来统计，这对网站分析有着非常重要的意义。本文提供判断百度移动蜘蛛和百度PC蜘蛛的源代码，有php、asp、asp.net三个版本。