可能性的详细信息rx–它是什么以及如何使用它？

aijoypaul

使用x防止索引元标记x在页面区域中实现，如下所示。消耗了爬行预算，但是访问这样的页面时，不会对该页面建立索引。x语句是绑定的，这意味着该页面在下次抓取后将从搜索引擎索引中删除。此类标签很有用，例如在以下页面上分页页面带有参数的UR，例如过滤器函数搜索结果页面通过规范控制索引与x声明不同，规范对搜索引擎没有约束力，这意味着不能保证搜索引擎会遵循这些建议。与x语句不同，这并不是要从索引中删除页面，而是建议应将哪个UR而不是您当前正在查看的页面编入索引。例如，在在线商店中，当过滤器功能创建类别页面的重复项时，这很实用。通过r进行抓取控制例如，在r中，您可以排除网址参数并降低抓取频率。具有某些参数的UR可以在以前的工具和报告UR参数下排除。例如，这对于从索引中排除网站上的过滤器设置生成的参数UR很有用。

需要指出的是，1这些设置仅适用于，不适用于其他搜索引擎。2当然，理想情况下，应该使用其他方式rx、x、或避免在网站上生成过滤UR来解决问题，这样就不需要通过r进行紧急解决方案。还可以在以前的工具和报告更多信息抓取频率设置下设置最 日本电话号码 大抓取频率。可以选择每秒几个请求到多个请求的值。仅当减慢网站服务器速度时，才应限制抓取频率。注意此设置仅在9天内有效，之后必须重新进行设置。这同样适用于这里这只是一个紧急解决方案！如果爬虫降低了站点服务器的速度，那么优化服务器性能就很重要。回到顶部实际示例通过参数UR避免重复内容有一个分类页面kr还有几个过滤UR，例如这个kr?frfrkr?frr这会创建重复的内容，因为除了显示的产品元数据、标题、文本等之外，所有三个UR都是相同的。



以下是四种不同变体的一些优点和缺点搜索控制台优点绝对适用于谷歌缺点配置比较复杂仅适用于，与其他搜索引擎无关机器人x优点对所有搜索引擎有效缺点只是建议，不具有约束力无索引优点从索引中删除页面的强制方法对所有搜索引擎有效缺点无法链接到相关规范页面典范优点对所有搜索引擎有效参考相关页面，在本例中为类别页面缺点只是一个建议，通常会被采纳，但并非总是如此在这种情况下，我会将过滤器UR设置为x。这可确保索引中仅包含类别页面，并且不存在重复内容。但是，有两种选择首先，您可以设置系统，以便过滤不会更改UR。然而，这只能通过少数系统实现，并且需要广泛的技术知识。