主页 > 谷歌推广优化 > 白山英文网站推广爬虫指令蜘蛛停止支持

白山英文网站推广爬虫指令蜘蛛停止支持

谷歌推广优化 TAG: 网站优化 SEO基础优化 SEO优化
网络推广
白山英文网站推广

Google在谷歌网站管理员博客上宣布:自2019年9月1日起,GoogleBot(谷歌蜘蛛爬虫)将停止支持机器人独家协议中不支持和未发布的规则。这意味着谷歌将不再支持robots.txt文件NOINDEX 文件中列出的指令。

“为了维护健康的生态系统并为未来的潜在开源版本做准备,我们将于2019年9月1日停止处理不支持和未发布的规则(如noindex)的所有代码。对于那些依赖noindex的人robots.txt文件中的索引指令控制着爬行,还有许多替代选项“。

谷歌列出了以下替代方案,你可能应该使用的那些选项:

(1)机器人元标记中的Noindex:在HTTP响应头和HTML中都支持,noindex指令是在允许爬行时从索引中删除URL的最有效方法。(2)404和410 HTTP状态代码:两个状态代码表示该页面不存在,一旦抓取并处理了这些URL,就会从Google索引中删除这些URL。(3)搜索控制台删除网址工具:该工具是一种从Google搜索结果中临时删除网址的快捷方法。(4)禁止在robots.txt中:搜索引擎只能索引他们知道的页面,因此阻止页面被抓取通常意味着其内容不会被编入索引。虽然搜索引擎也可以基于来自其他页面的链接索引URL,而不会看到内容本身,但我们的目标是在将来使这些页面不太可见。(5)密码保护:除非使用标记来表示订阅或支付内容,否则将页面隐藏在登录后通常会将其从Google索引中删除。

谷歌为何改变:谷歌多年来一直在寻求改变这一点,并且通过标准化协议,它现在可以继续前进。谷歌称其“分析了robots.txt规则的使用情况。”谷歌专注于研究不受支持的互联网草案实施,例如抓取延迟,nofollow和 NOINDEX。“由于Google从未记录过这些规则,因此它们与Googlebot的使用率非常低,”谷歌表示“这些错误会影响网站在Google搜索结果中的存在,因为我们认为网站管理员不会这样做。”

站长需要做哪些关注?最重要的是确保没有在robots.txt文件中使用noindex指令。如果有需要在9月1日之前进行上述建议的更改。另外查看是否使用nofollow或crawl-delay命令,如果是,需要查看对这些指令使用真正支持的方法。

白山英文网站推广爬虫指令蜘蛛停止支持

原标题:白山英文网站推广爬虫指令蜘蛛停止支持


发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
QQ
QQ在线咨询
SEO优化热线
15302721387
手机扫一扫 与博主直接沟通

56谷歌SEO优化致力于提供最专业的谷歌SEO优化,外贸SEO推广及外贸建站服务。通过Google优化提升网站搜索排名,打破谷歌推广高价门槛,让你能够以最低的成本做好谷歌优化,提高Google排名。

Copyright 2015—2018 网站地图|网站地图txt