爬虫和件也会发生类似的情况爬虫在爬行我

们的网站时不会到达禁止的资源（假设我们自己没有从其他页面放置直接链接到它们）。清楚）。但是如果从另一个网站有到这些资源之一的链接那么从该外部网页将出现对我们的资源的引用该资源可以出现在搜索结果中因为该外部页面通常可能已被爬网和索引搜索引擎。在这种情况下根据我们的件的限制指向“禁止资源的链接将出现在搜索引擎的搜索结果中尽管没有附加信息因为爬虫（受过教育的）尚未读取它阻止的资源的描述推论不要使件保护您的敏感和私人资源它不是为此而设计的。P托管指南和最佳优化网站跟踪控制的三个级别件并不是我们控制（诚实）爬虫如何遍历我们网站的唯一机制但我们有几个在网站内不同级别运行的机制在网站级别影响网站上的所有资源。件、站点地图文件和标头标记在此级别工作。在网页级别它仅影响爬虫当前正在读取的网页该网页对应于该页面上包含的机器人元标记。

在链接级别仅影响定义了所述

限制的链接其中链接的HL标记的“属性（“<>）被框定。关于这些控制机制在每个级别的运作我们必须考虑两个因素默认情况下所有机制都允许完全自由地对所有网站资源进行爬网和索引。也就是说爬虫会跟踪它找到的所有链接收集它爬行的所有资源搜索算法会对所有这些资源建立索引。资源被索引的唯一条件是它具有指向该 新加坡 WhatsApp 号码列表 资源的链接或明确包含在站点地图文件中。如果发生冲突（即当一种机制应用与另一种机制相反的约束时）顶层的约束始终优先并且在同一级别约束始终优先（例如当站点地图文件包含受件限制的资源的链接）。第二点有时会令人困惑。为了避免这种情况我们必须设身处地为爬虫着想当你访问一个网站时你首先发现的是什么文件。如果此文件告诉您不要抓取某个页面那么它将无法读取网页级别或链接级别的限制因此这些都不会应用。

换句话说追踪器只要不遇到任何阻

止它的指令就拥有完全的移动自由。最后请注意站点地图文件实际上并没有施加任何爬行限制而只是告知爬行器可爬行的页面。这不会阻止它抓取从这些页面链接的其他资源但它通常会优先考虑站点地图中出现的页面并首先抓取它们。我们对网站抓取的控制分为哪三个级别点击发推文何时使用一个或另一级别的跟 塞浦路斯 WhatsApp 号码列表 踪限制没有固定的规则可以回答这个问题但是我们必须针对每个网站以及每种资源或资源类型（在适当的情况下）单独评估一系列建议使用站点地图文件向爬虫指示我们对网站页面和资源的爬行首选项。请记住站点地图不能包含限制。当链接引用我们不希望被爬网或索引的页面或资源时请使用链接级限制。