精品网站建设
BOUTIQUE WEBSITE
08
18
Spider 是什么意思
发布者：深圳网站建设 来源：www.lonwin.net时间： 2020-01-15 10:16
Spider 就是大家常说的爬虫、蜘蛛或是机器人，是处于整个搜索引擎最上游的一个模块，只有Spider抓取回的页面或者URL才会被索引和参与排名。要注意的一点是：只要是Spider抓到的URL都可能会参与排名，但参与排名的网页并不一定就被Spider抓取到了，比如有些网站屏蔽了Spider。
Spider和普通用户的区别
所有的搜索引擎都表示自己的Spider对网站的抓取行为和普通用户的访问行为没有太大的区别。但是站在站长的角度来说还是一定的区别的。网页上有很多东西普通用户看不到也分辨不清，但是Spider可以；网页上也有很多东西普通用户可以看到并分辨清楚，但是Spider不可以。可以说Spider有着普通用户访问行为的大部分特性，但也有不少差异：
Spider可以很容易地分辨出网页中是否有隐藏内容，是否被挂了黑链等，但是不能完全了解网页中图片的内容，也不能很好的读取javascript、iframe、和flash中的内容，普通用户却可以；
Spider不支持cookie，但是普通用户的浏览器一般是支持的；
Spider不会主动注册登入网站，但是普通用户是可以的，原则上Spider不会抓取和分析网站robots中已经屏蔽的内容，但是普通用户是可以正常访问的；
Spider对于有多个动态参数网站的抓取，可能会陷入死循环，但是普通用户是不会的；
Spider对于列表中前几页的新内容抓取可能不好，但是普通用户可能对感兴趣然后依次浏览；
Spider暂时还不能真正判断文章是不是原创，但是普通用户可以通过很多种方式来确定文章是原创还是采集转载等。
SEO工作都在充分了解到Spider与普通用户的区别后，可以更方便地优化网站，使得网站内容被充分抓取，网站整体在搜索引擎中有良好的表现。