西安亿牛网站制作分析告诉搜索引擎如何索引你的网站，搜索机器人指令，是您可以向搜索引擎提供有关您希望如何处理网页的说明。
网站建设时通过标记可以告诉搜索引擎抓取工具，例如“不要在搜索结果中将此页面编入索引”或“不将任何链接权益传递给任何页面上的链接”。这些说明通过HTML页面的<head>中的标记完成，（最常用）或通过HTTP标头中的X-Robots-Tag执行。
搜索机器人标记
搜索机器人标记可以在网页HTML的<head>中使用。它可以排除所有或特定的搜索引擎。以下是最常见的元指令，以及您可能应用它们的情况。
index/noindex告诉引擎是否应该抓取页面并将其保存在搜索引擎的索引中以供检索。如果您选择使用“noindex”，那么您正在与希望从搜索结果中排除该页面的抓取工具进行通信。默认情况下，搜索引擎假设它们可以索引所有页面，因此不需要使用标签。
当您使用时：如：尝试从Google的网站索引中精简页面（例如：用户生成的个人资料页面），您可以选择将网页标记为“noindex”，但您仍希望访问者可以访问这些网页。
follow/nofollow告诉搜索引擎应该遵循页面上的链接还是nofollow。“follow”会导致机器人跟踪您网页上的链接并将链接权益传递到这些网址。或者如果选择使用“nofollow”，搜索引擎将不会关注或将任何链接权益传递到页面上的链接。默认情况下，假定所有页面都具有“follow”属性。
当您使用时： nofollow通常与noindex一起使用，当您尝试阻止页面被编入索引以及阻止搜寻器跟踪页面上的链接时。
noarchive用于限制搜索引擎保存页面的缓存副本。默认情况下，引擎将保留其索引的所有页面的可见副本，搜索者可通过搜索结果中的缓存链接访问这些页面。当使用时：如果您运行电子商务网站并且您的价格定期更改，您可能会考虑使用noarchive标签来阻止搜索者看到过时的定价。
以下是西安亿牛网络在网站优化时搜索机器人 noindex，nofollow 标签的示例：为了防止搜索引擎对该页面的误判，特以图片形式展现如下
noindex，nofollow 标签的示例
此示例将所有搜索引擎排除在索引页面和跟随任何页面上链接之外。如果您想要排除多个抓取工具（例如googlebot和bing），则可以使用多个机器人排除标记。目前这些标签西安亿牛网络在SEO优化项目中都有在使用！西安网站建设：https://www.yiniu.cn/
