百度蜘蛛不去你网站的原因

百度蜘蛛不去你网站的原因

每个网站都会在百度的索引库中记录一些信息,比如上次爬行时间,上次修改时间,外链数量等等。百度会根据这些信息来有 […]

2013-10-14

每个网站都会在百度的索引库中记录一些信息,比如上次爬行时间,上次修改时间,外链数量等等。百度会根据这些信息来有选择性的抓取页面。那么,有些网站却得不到百度蜘蛛的亲昵,那是为什么呢?首先去去IIS、apache等日志里找一下有没有baiduspider/2.0 ,这就是百度的蜘蛛user agent=baiduspider,例如api.mefanw.com 三亚网站建设,分析下日志,看看是否有baiduspider爬行,爬行状态是否返回200.为什么会导致蜘蛛不爬行呢?网站内容不多,原创少,抄袭多。网页结构不好,域名或者网站ip变动频繁,内容更新慢,外链少,和被百度惩罚的网站有友链或者ip相同等等原因。没有入口你的网站被惩罚了(作弊啊,响应代码错误云云)网站整体没有新的内容网站对搜索引擎是否友好有没有广泛的外部链接等等网站外链不多或者是质量奇差那么,你需要怎样做才能改善这种情况呢?增加网站原创性,习惯性的问题,每天有序的添加原创文章优化网站结构等。

XML 地图