如何为您的网站创建最好的一个

以使其不损害我们的有机定位之前我想澄清一些概念正如我在我读过的许多帖子中看到的那样造成很多混乱并导致许多配置不一定是错误的（也是如此）但没有提供网站所有者所期望的内容。例如其中一种误解是相文件可以阻止访问我们想要保护的网站上的某些文件夹或文件而我已经提到过它根本不具备这种阻止能力。因此让我们看看它的用途以及最重要的是该文件不用于什么。文件如何影响网站的索引和点击发推文P中的件有什么用何时在P中使用文件何时使文件如果我们首先了解和理解搜索引擎如何索引网站页面则可以更好地理解文件的功能和范围因为该文件积极干预并影响此过程的一部分。

实际上搜索引擎通过两个

截然不同的步骤来执行其任务网站爬行其中专门的搜索引擎软件（称为爬虫、机器人、蜘蛛或者最好用西班牙语称为爬虫或蜘蛛）通过网页上的链接遍历网站并收集它们。网页索引其中搜索算法 西班牙 WhatsApp 号码列表 解析和分析爬虫收集的页面内容以便对它们建立索引并使用与所述内容相关的单词将它们定位在搜索结果中。文件仅影响这两个步骤中的第一步。也就是说页面的集合向爬虫指示他们可以（或应该）爬行的网站的哪些部分、页面或资源（理解为任何类型的文件图像、文档、视频等）以及他们不能爬行的内容。可以（或不应该）跟踪。然而虽然文件不直接干预网页的索引和定位但它可以防止（我已经告诉过你这并不完全正。

确我们稍后会深入研究）从页面内容或通过搜索算法对资源进行分析和索引。打个比方我们可以将网站想象成一本书将爬虫想象成一个人（一个“审查员表达情感）他按照建立页面类型的规则览该书。可以阅读哪些内容应该忽略哪些内容甚至可以阅读或应该忽略哪些章节或页面组。作为跟踪者审查者此人的唯一作用是标记根据这些规则可供公众阅读 丹麦 WhatsApp 号码列表 的页面而他将保留其余部分。然后公众（搜索算法）只能阅读（分析）审查爬虫允许的页面。件在P中不适合做什么何时不使用文件何时不使用此时我们必须避免陷入相当普遍的错误即文件可以限制和阻止对网站上某些资源的访问就好像它们受到了保护以防止恶意访问一样。