使用 . 时最好的 操作是什么？ 用 .。让我们更详细地看一下 确保您没有阻止您想要抓取的网站的任何内容或部分。 如果您希望链接资产从包含 . 的页面（意味着它实际上已被阻止）传递到链接目标，请使用与 . 不同的阻止机制。 不要使用 . 来防止敏感数据（例如用户的私人信息）出现在搜索引擎结果中。这样做可能会允许其他页面链接到包含用户私人信息的页面，这可能会导致该页面被索引。在这种情况下，. 文件已被跳过。您可以探索的其他选项是密码保护或元指令。 无需为搜索引擎的所有爬虫指定策略，因为大多数用户代理如果属于同一搜索引擎，则遵循相同的规则。 使用 作为搜索引擎，使用 进行图像搜索。
了解如何指定每个爬虫的唯一好处是您可以精确调 印度尼西亚手机号码数据 整爬行网站内容的方式。 如果您更改了 . 文件并希望 更快更新，请将其直接发送给 。单击此处获取有关如何执行此操作的说明。需要注意的是，搜索引擎会缓存.的内容，并且每天至少更新一次缓存内容。 基本 . 指南 现在您已经对和.之间的关系有了基本的了解，那么在使用.时应该注意什么呢？在本节中，我们讨论使用 . 时要遵循的一些准则，尽管阅读完整语法很重要。 格式和位置 用于创建 . 文件的文本编辑器必须能够创建标准 或 - 文本文件。使用文字处理器不是一个好主意，因为可能会添加一些可能影响跟踪的字符。 尽管您几乎可以使用任何文本编辑器来创建 . 文件，
但强烈建议您使用此工具 ，因为它允许您在网站上执行测试。 以下是有关格式和位置的一些准则 您应该将创建的文件命名为“.”，因为该文件区分大小写。不使用大写字符。 您的整个网站上只能有一个 . 文件。 . 文件仅位于一个位置它所适用的网站主机的根目录。请注意，它不能放置在子目录中。如果您的网站是:///，那么 . 的位置是:///.，而不是://// . . 请记住，. 文件可以应用于子域 ( :///. ) 甚至非标准端口，例如://第章 正如我们之前提到的，. 并不是防止敏感个人信息被索引的最佳方法。这是一个合理的担忧，尤其是在 实施的今天。信息隐私不受到威胁至关重要。 如何确保 . 不会在搜索结果中显示敏感数据？ 在网络上使用单独的“不可列出”子目录将阻止敏感信息的分发。您可以通过配置服务器来确保“无法列出”。只需将您不希望 . 访问并索引的所有文件存储在此子目录中即可。