Pembuat Robots.txt

Cara melakukannya

1. 1
   Isi kolomnya

   Ketik angka Anda atau pilih opsi yang dibutuhkan.

2. 2
   Lihat hasilnya

   Jawaban langsung diperbarui saat Anda mengubah nilai.

3. 3
   Gunakan

   Salin hasilnya atau catat. Tidak ada yang dikirim ke mana pun.

Tentang alat ini

Choose the crawler, list the paths you do not want crawled and any paths to allow, and add your sitemap address. Copy the result into a file named robots.txt in the root of your site. Remember that robots.txt is a request to crawlers, not a way to hide private pages.

When to use it

Create a robots.txt file for your website, with sitemap and rules.

Tips

Do not block pages you want indexed. Test the file.

Privacy

Everything runs in your browser, so your data is not uploaded or stored.

Contoh perhitungan

With the boxes at their starting values (Crawler (user-agent): All crawlers (*); Allow everything when no paths are listed: Yes; Paths to block (one per line): /admin /private/), the tool shows: User-agent: * Disallow: /admin Disallow: /private/. Change any box to see your own numbers. The result updates as you type, and nothing leaves your browser.

Tips untuk hasil terbaik

Periksa setiap kolom sebelum mengandalkan hasil, karena satu angka yang salah mengubah seluruh jawaban. Pakai angka persis dari slip gaji, tagihan, sertifikat, atau kontrak Anda, dan catat tanggal Anda menghitung. Tarif, ambang batas, dan aturan berubah dari waktu ke waktu, jadi untuk urusan pajak, biaya, dan hukum perlakukan hasil sebagai perkiraan dan konfirmasikan dengan sumber resmi yang disebut di halaman ini. Anda dapat mencoba skenario sebanyak yang Anda mau; tidak ada yang disimpan atau dikirim, dan memuat ulang halaman mengosongkan kolom.