ROBOTS.TXT確認ツール
操作が簡単:
robots.txtファイルの正確さを確認するのはこれまでになく簡単になっています。URL全体をペーストして/robots.txtを後に付けてEnterを押せばレポートが表示されます。
100%正確:
弊社のrobots.txt確認ツールはタイプミス、シンタックスなどの間違いなどを見つけるだけでなく、役立つ最適化に関するアドバイスも表示されます。
的確:
Robots除外基準とスパイダー特有の拡張機能を両方とも考慮して当社のRobot.txt確認ツールは読みやすいレポートを作成し、あなたのRobot.txtファイルに潜んでいるミスを正すのに役立ちます。
よくある質問
このツールを使えば数秒でレポートが表示されるので、簡単にご利用いただけます。サイトのURLに/robots.txtを付けて入力して(例:yourwebsite.com/robots.txt)確認ボタンをクリックするだけです。Robots.txtチェッカーツールはタイプミス、シンタックスエラー、論理エラーなどの間違いがないか確認し、robots.txtファイルを最適化するためのアドバイスを表示します。
サイトがクロールされる前にファイルを確認することで、インデックスしてもらいたいページだけでなくサイトのすべてのコンテンツがクロールされてしまうというトラブルを防げるのです。例えば登録フォームやログインページを入力した後でしかアクセスできないページがある場合、robot.txtファイルで除外しなければインデックスされてしまう可能性があります。
エラーには以下のようなものがあります:
無効なURL:Robots.txtファイルが全くない場合はこのエラーが表示されます。
潜在的なワイルドカードエラー:実際にはエラーではなく警告ですが、一般的にこのメッセージはrobots.txtファイルのDisallowの欄にワイルドカードがあるときに表示されます(例:Disallow: /*.rss)。GoogleはDisallowの欄にワイルドカードの使用を認めていますが、推奨されていません。
同じコードブロック内に汎用および特定のユーザーエージェントがある:これはrobots.txtファイルのシンタックスエラーであり、サイトがクロールされるときに問題が発生しないように修正する必要があります。
警告には以下のようなものがあります:
Allow:/ – Allowはランキングに悪影響を与えたりサイトに影響したりすることはありませんが、一般的には行われません。GoogleやBingなどの大手ロボットはこの指示を許可していますが、すべてのクローラが許可しているわけではありません。一般的に、Robots.txtファイルは大手クローラだけでなく、すべてのクローラに対応するべきです。
フィールド名を大文字にする:フィールド名は必ずしも大文字と小文字を区別するわけではありませんが、一部のクローラは大文字である必要があるので特定のユーザーエージェントのためにフィールド名は大文字にしましょう。
サイトマップに対応:多くのRobots.txtファイルにはサイトのサイトマップの詳細が含まれていますが、これはベストプラクティスとは見なされていません。ただしGoogleとBingはサイトマップに対応しています。
Wixなど一部のサイトビルダーは直接Robots.txtファイルを編集できないようにしていますが、特定のページでno-indexタグを追加することができます。
気に入ってもらえて良かったです!