分析日志真假百度(谷歌)蜘蛛如何识别,假蜘蛛的危害有哪些?

如何通过分析日志的真实性来鉴别百度(Google)蜘蛛？假蜘蛛有哪些危害？我们的SEO优化人员在分析网站日志时肯定遇到过。网站看起来有很多来自百度蜘蛛的ip访问，但实际上有一部分是假冒无效的搜索引擎蜘蛛ip。这些假蜘蛛并不友好，可能会影响网站，更有可能在你分析蜘蛛抓取情况的时候迷惑观众，误导你。所以我们应该可以通过分析日志来正确识别百度(Google)的真假蜘蛛。

轻松识别百度真假蜘蛛的两种方法

首先看人脸识别

当我们看的多了，经历的多了，就能一眼看出哪个百度蜘蛛IP是真实的。

百度官方真假蜘蛛文档是这样记录的:

新的移动ua:

Mozilla/5.0(linux；u；安卓4 . 2 . 2；zh-cn；)AppleWebKit/534.46 (KHTML，像壁虎一样)版本/5.1手机Safari/10600.6.3(兼容；baiduspider/2.0；+http://www . Baidu . /search/spider . html)

PC ua:

Mozilla/5.0(兼容；baiduspider/2.0；+http://www . Baidu . /search/spider . html)

所以按照百度的说法，不像这个样子的都是假的，全部都会被拉出来。比如有一个这样的百度假蜘蛛。

假蜘蛛:

baiduspider+(+http://www . Baidu . /search/spider . htm)

二、通过DOS命令查询

我们通过dos命令检查它。我们正在寻找两个IP段，220.181.108.140和117.28.255.37。

开始-运行-输入cmd并使用命令nslookup +ip查看截图:

如果是真实的IP段:

百度蜘蛛

如何辨别真假百度搜索引擎蜘蛛IP

错误:

百度SEO

如何辨别真假百度搜索引擎蜘蛛IP

注:只要是百度的IP段，代码里都会有一个名字:baiduspider。如果不出现，就不是真正的百度IP。

PS: Google也一样:会有googlebot等。

百度(Google)假蜘蛛的危害是什么？

1.占用网站带宽，导致网站流量增加，额外支出；

2.在带宽有限的前提下，阻碍了正常蜘蛛的抓取，误导了我们开展网站SEO工作的思路；

3.一些伪装成假蜘蛛的采集工具抄袭了我们的作品；

4.假蜘蛛无法抓取内容，无法形成数据库进行收录，所以影响不大。

PS:假蜘蛛有一些危害，一般都在可控范围内，所以一旦发现假蜘蛛来访爬行，可以暂时屏蔽。可以先观察百度站长的网站抓取是否正常，再看具体危害，比如这种假蜘蛛是否长期出现。经过一段时间的观察，如果没有问题，就不要理会了。如果有影响，就用robots协议屏蔽这个ip段的假蜘蛛。但是需要注意的是，屏蔽的时候，不要屏蔽错误。

以上就是林允给大家分享的如何识别百度和Google的真假蜘蛛，以及假蜘蛛的危害。记住，假蜘蛛的存在并不一定影响网站。更重要的是，你要知道哪些是假蜘蛛，不要被误导。除了以上两种鉴别方法，网上百度可以查看蜘蛛真实性查询工具(输入要查询的ip)知道是否是真的百度蜘蛛。