如何排除无关蜘蛛爬虫干扰高质搜索引擎蜘蛛获取网站

发布时间：2022-07-13 13:46 所属栏目：21 来源：互联网

导读：在搜索引擎优化过程中，你是否遇到过这样的问题：服务器访问的CPU利用率接近，页面加载速度特别慢，似乎受到了DDoS的攻击。经过回顾，我发现原来的目标网站经常被大量无关的爬虫抓走，这对一个小网站来说可能是一场灾难。因此，在进行网站优化时，我们需要

　　在搜索引擎优化过程中，你是否遇到过这样的问题：服务器访问的CPU利用率接近，页面加载速度特别慢，似乎受到了DDoS的攻击。

　　经过回顾，我发现原来的目标网站经常被大量无关的“爬虫”抓走，这对一个小网站来说可能是一场灾难。

　　因此，在进行网站优化时，我们需要有选择地引导特定的蜘蛛。

　　根据以往SEO经验分享，优帮云SEO小编将通过以下几点来阐述：

　　一、搜索引擎爬虫

　　对于国内的小伙伴来说，我们都知道在SEO的过程中，我们面对的常见的爬虫就是搜索引擎的爬虫，比如百度蜘蛛，还有各种搜索引擎的蜘蛛，比如：

　　①360Spider、SogouSpider、Bytespider

　　②Googlebot、Bingbot、Slurp、Teoma、iauarchiver、twiceler、MSNBot

　　③其他爬行动物

　　如果不故意配置robots.txt文件，理论上，可以对目标页进行爬网和爬网。然而，对于一些中小型网站来说，它偶尔会浪费自己的服务器资源。

　　此时，我们需要做出有选择性、合理的指导，特别是一些尴尬的问题，比如：你希望谷歌减少对网站的爬网，但不能完全屏蔽它，你可能需要一些提示，比如：对于具体的爬网访问，反馈不同的文章列表：

　　①控制更新频率表

　　②反馈重复性强，内容农场页面

　　③善意的“蜘蛛陷阱”，如flash

　　④如何调整对方的SEO管理平台，获取评论并进行适当调整

　　虽然这样的策略很可能会对页面声誉造成损害，但我可以想出一个相对“有效”的方法，合理控制那些不想频繁爬行但需要不断爬行的蜘蛛的爬行。

　　二、蜘蛛池爬行动物

　　目前，市面上有很多人做百度蜘蛛池，其主要目的是协助更多的页面做百度快速收录，但由于一些随意下载蜘蛛池的程序设计不规范。

（编辑：ASP站长网）