Robots.txt生成
ウェブサイト用のrobots.txtファイルを作成します。
ブラウザ内で動作します。ファイルは端末の外に出ません。 確認方法を見る
…
使い方
- 1項目を入力
数値を入力するか、必要なオプションを選びます。
- 2結果を見る
値を変えるとすぐに答えが更新されます。
- 3活用する
結果をコピーするか書き留めてください。何もどこにも送信されません。
About this tool
Choose the crawler, list the paths you do not want crawled and any paths to allow, and add your sitemap address. Copy the result into a file named robots.txt in the root of your site. Remember that robots.txt is a request to crawlers, not a way to hide private pages.
When to use it
Create a robots.txt file for your website, with sitemap and rules.
Tips
Do not block pages you want indexed. Test the file.
Privacy
Everything runs in your browser, so your data is not uploaded or stored.
計算例
With the boxes at their starting values (Crawler (user-agent): All crawlers (*); Allow everything when no paths are listed: Yes; Paths to block (one per line): /admin /private/), the tool shows: User-agent: * Disallow: /admin Disallow: /private/. Change any box to see your own numbers. The result updates as you type, and nothing leaves your browser.
最良の結果を得るためのヒント
結果を信頼する前にすべての項目を確認してください。数字がひとつ違うだけで答え全体が変わります。給与明細、請求書、証明書、契約書にある正確な数字を使い、計算した日付を控えておきましょう。税率、しきい値、ルールは随時変わるため、税金、手数料、法的な事柄については結果を概算とみなし、このページに記載された公式情報源で確認してください。シナリオは何度でも試せます。何も保存・送信されず、ページを再読み込みすると入力欄はクリアされます。
ポイント
- カテゴリ: ドキュメント
- ブラウザ内で動作し、登録もアップロードも不要です。
- 入力した情報は端末内にとどまります。
- 多くの言語で利用できます。
- 内容の最終確認日:
よくある質問
Where does robots.txt go?
In the root of your website, so it is available at yourdomain.com/robots.txt.
Does it hide pages from search?
It asks crawlers not to visit them, but pages can still appear if linked elsewhere. Use noindex or a password for private pages.
Where do I put it?
In the root of your site.
Does it hide pages?
No. It only asks crawlers to skip them.