我们的客户
2000年-今天

我们一直与时代同行,做有价值的互联网品牌传播者

08 18

为什么蜘蛛不来抓取网站网页?

发布者:深圳网站建设标签:为什么蜘蛛不来抓取网站网页?

有些人很不明白自己很用做心的网站,没想到蜘蛛压根就没来爬过。有些人时不时会问小编曲:为什么蜘蛛不来抓取我的网页呢?那就让深圳网站建设的中为科技小编就给大家来分析一下原因吧。

  一般情况下遇到这种情况有:一、你屏蔽了蜘蛛。二、你被蜘蛛屏蔽了

  一、你屏蔽蜘蛛了

  如果我们屏蔽了蜘蛛,蜘蛛当然不可能来抓取我们的网站拉。

  1.首先我们要检测自己的网站robots.txt文件,看看文件的书写是否正确,是否有大小写混乱的情况出现,是否建站初期的时候有屏蔽所有蜘蛛的爬行的指令忘记修改了。正常情况下robots.txt检测的事情就直接交给站长工具检查就可以了

  2.服务器商是否屏蔽了蜘蛛的爬行。别认为这事不可能,当初就有过一次乌龙,某服务商主机就误把百度蜘蛛当成黑客攻击给屏蔽了,不知道导致多少人被K站。如果是主机商屏蔽了蜘蛛的爬行尽早换主机,不能耽误。

  二、你被蜘蛛屏蔽了

  1.查看自己的域名以前的记录,看看域名以前是否做了违法的站点。如果是的话那么蜘蛛不爬是完全有道理的,一但长时间被列入黑名单,那要转白那就的难了,所以一定要查看域名之前的记录,实在不行最好还是换个域名。

  2.查看下自己同服务器的站点,是否有非常严重违规的行为,若有的话,搜索引擎很有可能屏蔽整条IP的站点,为了自己的网站发展健康还是选择独立IP的服务器吧。

如果发现自己网站的爬行日志压根没出现蜘蛛来访,那么我们就应该考虑自己的站点是否出现以上的情况,应该及时的清理。然后向相关的搜索引擎提交,或者利用高质量的外链引导蜘蛛爬行。

当然蜘蛛不来抓取还有一种情况就是:搜索引擎偶尔也有抽风的时候,但是一般这种情况时间并不长,而且影响没有上面两个这么严重,所以可以只做为参考。

查看一下最近网站有做哪些改动,如果是因为这些改动引起的那就是做了不恰当的操作,便是如果操作都和日常一样,而且所有的都排查过了那就应该是搜索引擎本身的问题,等几天就好了。正所谓身正不怕影子斜,只要没做违规改动,那迟早会恢复的。

  • 最新文章 LATEST ARTICLES
企业QQ咨询:642767003
服务咨询热线:

0755-824849660755-82484966

立刻在线咨询

建站案例

COMSTRUCTION CASE

  • 网站建设案例:嘉里建设

  • 网站建设案例:小牛资本

  • 网站建设案例:深圳市卫生监督局

  • 网站建设案例:深圳肿瘤医院

  • 网站建设案例:美的

  • 网站建设案例:中石化

  • 网站建设案例:招商局集团

  • 网站建设案例:沃尔玛

  • 网站建设案例:人人乐集团

  • 网站建设案例:香港大学深圳医院

  • 网站建设案例:中广核

  • 网站建设案例:中国科学院

  • 网站建设案例:鑫根资本

  • 网站建设案例:金证股份

  • 网站建设案例:时代装饰

  • 网站建设案例:武汉民投金融

  • 网站建设案例:华润新能源

  • 网站建设案例:中共深圳市委统战部

  • 网站建设案例:福田政府在线

  • 网站建设案例:深圳市人力资源和社会保障



点击咨询

0755-82484966

联系我们

您好HELLO!
感谢您来到中为科技,若您有合作意向,请您为我们留言或使用以下方式联系我们,
我们将尽快给你回复,并为您提供最真诚的设计服务,谢谢。

电话:0755-82484966  82481178

商务合作邮箱:kefu@lonwin.net

合作QQ:642767003

深圳总公司地址:罗湖区北站路1号中贸大厦202-208室

在线提交需求

...您也可发需求信息至邮箱:642767003@qq.com