ROBOTS.TXT CHECKER

什么是Robots.txt测试器和验证器？
Robots.txt测试器工具旨在检查您的robots.txt文件是否正确无误。Robots.txt文件是您网站的一部分，并且为搜索引擎机器人提供了索引规则，以确保您的网站可正确抓取（并建立索引），并确保率先为网站上最重要的数据建立索引。
该工具易于使用，可在几秒钟内为您提供报告 – 您只需输入完整的网站URL，然后输入/robots.txt（例如yourwebsite.com/robots.txt），然后点击“检查”按钮即可。我们的robots.txt检查器会为您找出任何错误（例如拼写错误、语法和“逻辑”错误），并建议您如何优化您的robots.txt文件。

我为何需要检查我的Robots.txt文件？
Robots.txt文件有问题 – 或根本没有robots.txt文件 – 可能会对您的SEO分数产生负面影响，进而可能影响您的网站在搜索引擎结果页（SERP）中的排名。这是由于非相关的内容先被抓取，而不是重要内容。
在对网站进行抓取之前检查文件，可让您避免诸如所有网站内容（而不仅仅是您想要建立索引的页面）都被抓取和索引之类的问题。举例来说，如果您希望访问者在填写订阅表格或者登录会员后才能访问某个页面，但没有将其排除在robot.txt文件外，则其最终可能会被建立索引。

错误和警告是什么意思？
有许多错误以及在您检查文件时可能会出现的“最佳做法”警告，都可能会影响您的robots.txt文件。这些都会影响您的SEO，因此应进行修复。警告较不重要，因为它只是有关如何改善robots.txt文件的建议。
您可能会看到的错误包括：
无效的网址 – 如果您的robots.txt文件完全丢失，则会看到此错误
潜在的通配符错误 – 尽管技术上来说这只是警告而非错误，但此消息出现通常是因为您的robots.txt文件在“禁止爬取”字段中包含通配符（*）（例如，禁止爬取：/ *。rss）。这是个提醒您采取最佳作法的警告，因为虽然Google在“禁止爬取”字段中允许使用通配符，但不建议这样做。
通用代码和特定用户代理位于同一代码块中 – 这是robots.txt文件中的语法错误，应予以更正，以避免在抓取网站时出现问题。
您可能会看到的警告包括：
允许：/ – 使用允许顺序不会损害您的排名或影响您的网站，但这不是标准作法。虽然包括Google和Bing在内等主要浏览器都接受此指令，但并非所有抓取工具也都是如此。一般来说，您应该尽可能使robots.txt文件与所有抓取工具（而不仅是大型抓取工具）兼容。
字段名大写 – 虽然字段名不一定会区分大小写，但某些抓取工具可能需要使用大写，因此您最好在特定用户代理字段名使用大写。
站点地图支持 – 许多robots.txt文件都包含该网站站点地图的详细信息，但这不是最佳作法。尽管如此，Google和Bing都支持此功能。

如何修复Robots.txt文件中的错误？
如何解决robots.txt文件中的错误取决于您使用的平台。如果您使用的是WordPress，则建议使用WordPress插件，例如WordPress Robots.txt Optimization或Robots.txt Editor。如果您将网站连接到Google Search Console，则也可以在其中编辑robots.txt文件。
有些网站生成器（例如Wix）不可直接编辑robots.txt文件，但可让您为特定页面添加无索引标签。