Bing正在提高网络爬虫的效率


Bing正致力于确保他们的抓取工具不会错过新内容,同时使您的Web服务器过载。

Bing网站管理员工具的首席项目经理Fabrice Canel提供了他的团队提高网络爬虫BingBot效率的最新信息。

回应用户反馈。这次更新是他在6月份在SMX Advanced上的演讲的后续行动,在此期间他宣布了为期18个月的改进BingBot的努力。Canel要求观众提交建议和反馈。

在周二的博客文章中,Canel表示团队已经根据这些反馈进行了大量改进,并感谢SMX观众的贡献。他说他们将“继续改进”爬虫并在Bing网站管理员博客上分享他们在新的“BingBot系列”中所做的工作。

BingBot的目标。在第一篇文章中,Canel概述了BingBot的目标,即使用算法来确定“要爬网的站点,频率以及从每个站点获取的页数。”以确保站点的服务器不会被超载爬虫,BingBot的目标是限制其在网站上的“爬行足迹”,同时确保其索引中的内容尽可能新鲜。

这种“爬行效率”是Bing正在努力达到规模的平衡。Canel说:“我们听说过bingbot不经常爬行的问题,而且他们的内容在索引中并不新鲜; 与此同时,我们听说bingbot过于频繁地抓取网站资源的限制。“这是一项正在进行中的工作。

你为什么要关心?Bing显然正在倾听网站管理员和SEO社区。网站管理员工具团队正在进行更改,以确保其抓取工具不会使服务器过载,同时在网站上查找新内容时更快,更高效。Bing正积极致力于此,并表示将继续努力。

这对你有什么影响?如果您向网站添加新内容而Bing未看到它,则不会对其进行排名。这意味着使用Bing的搜索者将无法找到您的新内容。

最近,Bing关闭了匿名提交网址工具,我们已经看到Bing即使在Bing网站站长工具中也没有收听提交网址请求的报告。现在,Bing正在进行的调整和更改可能导致一些缓慢的爬行和索引。但最终,Bing显然正在研究这个问题。

发表评论