ROBOTS.TXT CHECKER
使用方便:
测试robots.txt文件的准确性从未如此简单,只需将完整的网址粘贴到/robots.txt,单击输入即可,而您的报告将很快便会出炉。
100%准确:
我们的robots.txt检查程序不仅会因错字、语法和”逻辑”错误而发现错误,还会为您提供有用的优化提示。
精确:
考虑到Robots Exclusion Standard和搜索器特定扩件,我们的robots.txt检查程序将生成一个易于阅读的报告,以帮助您更正robots.txt文件中可能存在的任何错误。
常见问题
该工具易于使用,可在几秒钟内为您提供报告 – 您只需输入完整的网站URL,然后输入/robots.txt(例如yourwebsite.com/robots.txt),然后点击“检查”按钮即可。我们的robots.txt检查器会为您找出任何错误(例如拼写错误、语法和“逻辑”错误),并建议您如何优化您的robots.txt文件。
在对网站进行抓取之前检查文件,可让您避免诸如所有网站内容(而不仅仅是您想要建立索引的页面)都被抓取和索引之类的问题。举例来说,如果您希望访问者在填写订阅表格或者登录会员后才能访问某个页面,但没有将其排除在robot.txt文件外,则其最终可能会被建立索引。
您可能会看到的错误包括:
无效的网址 – 如果您的robots.txt文件完全丢失,则会看到此错误
潜在的通配符错误 – 尽管技术上来说这只是警告而非错误,但此消息出现通常是因为您的robots.txt文件在“禁止爬取”字段中包含通配符(*)(例如,禁止爬取:/ *。rss)。这是个提醒您采取最佳作法的警告,因为虽然Google在“禁止爬取”字段中允许使用通配符,但不建议这样做。
通用代码和特定用户代理位于同一代码块中 – 这是robots.txt文件中的语法错误,应予以更正,以避免在抓取网站时出现问题。
您可能会看到的警告包括:
允许:/ – 使用允许顺序不会损害您的排名或影响您的网站,但这不是标准作法。虽然包括Google和Bing在内等主要浏览器都接受此指令,但并非所有抓取工具也都是如此。一般来说,您应该尽可能使robots.txt文件与所有抓取工具(而不仅是大型抓取工具)兼容。
字段名大写 – 虽然字段名不一定会区分大小写,但某些抓取工具可能需要使用大写,因此您最好在特定用户代理字段名使用大写。
站点地图支持 – 许多robots.txt文件都包含该网站站点地图的详细信息,但这不是最佳作法。尽管如此,Google和Bing都支持此功能。
有些网站生成器(例如Wix)不可直接编辑robots.txt文件,但可让您为特定页面添加无索引标签。
很高兴你喜欢!