SEO 优化屏蔽 Robots.txt 指南

我猜你点击这个链接是想看一篇关于 robots.txt 的无聊文章，因为它一直被认为是SEO 的技术方面，也是开发人员的工作，对吗？

但别担心！我主要是一个内容人员，在过去 13 年的 SEO 工作中，我通过学习和实践获得了技术 SEO 技能。

我完全理解非技术人员了解 robots.txt 的感受，这就是为什么我决定提出这个例子，让您轻松掌握 robots.txt 的目的。

想象一下你正在家里举办一场聚会。

你期待着一些朋友和一些通过社交媒体认识的熟人来参加。

在入口处，你贴了几条派对规则， 述了 手机号码数据 客人可以做什么以及可以去哪里。例如，他们可以在客厅、厨房和后院随意活动。但是，你要求他们不要进入你的私人书房。

 

在这种情况下，“派对规则”类似于您网站上的 robots.txt 文件，而您的客人是搜索引擎。

robots.txt 文件是您网站的规则手册，告诉搜索引擎哪里可以抓取，哪里不能抓取。

就像您的朋友尊重您的隐私一样，大多数搜索引擎都会遵守这些说明。但请注意，它们会本能地忽略这些规则，就像那位不守规矩的派对客人一样！

因此，robots.txt 文件是您网站 SEO 策略的一个关键方面。它引导搜索引擎找到正确的页面，防止它们索引重复内容或访问您希望保密的网站某些部分。

但请记住，就像您在起草“派对规则 共享班车和有用的比较 ”时要小心谨慎一样，在编辑 robots.txt 文件时也要小心谨慎。您不会想不小心把整个房子都封住了，让客人尴尬地站在门口吧？

同样，robots.txt文件中的一个错误举动可能会阻止搜索引擎访问您网站的关键部分。

现在让我们更深入地探讨 robots.txt 的工作原理和含义。

Robots.txt 的定义

robots.txt 是网站管理员添加到网站根目 1000个手机号码 录中的指令，用于指示搜索引擎哪些页面可以抓取，哪些页面不能抓取。网站管理员使用一组被主要搜索引擎认可的指令（称为Robots 排除协议）来控制、规范和拒绝搜索引擎对网站的访问。

也就是说，robots.txt 只是一个指令，任何决定忽略它的搜索引擎都不会拒绝访问。但是，如果您想拒绝访问网站内的特定文件夹，您可以尝试使用 .htaccess。这是最安全的方法，因为您正在执行一条无法违反的规则。

Robots.txt 对 SEO 的重要性？ 

网站决定投资 SEO 的整个想法是提高搜索引擎排名。但是，网站所有者可能希望同一网站中的某些页面和资源不被用户和搜索引擎看到。向这些文件夹添加禁止指令可使它们不易被搜索到。

添加此类指令的另一个好处是，您可以告诉搜索引擎不要抓取不必要的页面，而是只关注您真正想要排名的页面，从而 节省搜索引擎的抓取预算。

对 robots.txt 文件进行更改必须谨慎，因为一个错误可能会导致整个网站无法被搜索引擎索引，这将导致排名下降，之后页面将从搜索结果中消失。

案例研究

最近在 Ahrefs 博客上发布的案例研究题为“使用 robots.txt 屏蔽 2 个高排名页面的故事”，其中讨论了 Patrick Stox 进行的一项实验，该实验旨在检查通过 robots.txt 屏蔽页面是否对排名和流量产生重大影响。为此，他在 5 个月的时间内没有对两个高排名页面进行索引。

实验结束后，帕特里克表示，如果使用 robots.txt 阻止抓取页面，谷歌仍将继续依靠其随着时间的推移而获得的链接相关性信号对搜索结果中的内容进行排名。

实验的主要发现包括：

• 屏蔽导致排名位置和页面所有精选摘要略有下降。不过，总体影响比预期的要小。
• 作者怀疑谷歌可能仍在使用以前在页面上看到的内容来对其进行排名，正如谷歌搜索倡导者约翰·穆勒 (John Mueller) 过去所证实的那样。
• 测试进行了近五个月，Google 似乎不会停止对该页面进行排名。作者怀疑，一段时间后，Google 可能会不再相信该页面上的内容仍然存在，但没有证据表明这种情况发生了。
• 被屏蔽的页面会失去自定义标题，并显示一条消息，表示没有可用信息，而不是元描述。当页面被 robots.txt 屏蔽时，这是意料之中的事情。
• 作者认为，SERP 上的信息对页面点击量的影响比排名下降更大。展示量有所下降，但文章点击量的下降幅度更大。

作者最后建议不要阻止您想要索引的页面，因为它确实会产生负面影响，尽管没有人们想象的那么严重。

有关 Robots.txt 文件的最新更新

Google 将 Robots.txt 报告添加到 Google Search Console