上篇文章分析了使用robots.txt不能阻止网页被抓取收录的原因,那么,如何有效阻止网页被收录呢,方法是使用noindex元标记。
要阻止某些网页被搜索引擎抓取收录,大家首先想到的方法应该是使用 robots.txt 吧。不过,如果想禁止搜索引擎抓取某些网页,使用 robots.txt 是不够的。