精品网站建设
BOUTIQUE WEBSITE
08
18
nofollow和robots
发布者：深圳网站建设 来源：www.lonwin.net时间： 2019-07-23 18:18
Nofollow标签是Google首创，Google官方对这个标签作用解释是：
通常情况下，我们不会追踪这些链接。也就是说，Google不会传送这些链接中的PageRank或定位文字。从本质上说，使用nofollow会使我们放弃整个网络中相应的目标链接。不过，如果有未使用nofollow的其他网站链接指向这些目标网页，或目标网页的网址是通过站点地图提交给Google的，则这些目标网页可能仍会出现在我们的索引中。此外，值得注意的是，其他搜索引擎对nofollow的处理方式可能略有不同。
通常情况下，我们不会追踪这些链接。也就是说，Google不会传送这些链接中的PageRank或定位文字。从本质上说，使用nofollow会使我们放弃整个网络中相应的目标链接。不过，如果有未使用nofollow的其他网站链接指向这些目标网页，或目标网页的网址是通过站点地图提交给Google的，则这些目标网页可能仍会出现在我们的索引中。此外，值得注意的是，其他搜索引擎对nofollow的处理方式可能略有不同。
robots.txt 只是约定，爬虫遵守或者不遵守完全在于爬虫作者的意愿。
nofollow和robots.txt是两个概念，nofollow是不传递权重，但依然会被收录，robots.txt文件是告诉爬虫，这些目录下的或者文件禁止访问禁止被收录
