Generator robots.txt
Satu baris keliru dapat menghapus situs dari Google
Susun robots.txt dengan larangan, pengecualian, sitemap, dan pilihan menutup perayap pengumpul data model AI — beserta penjelasan terus terang tentang apa yang sebenarnya TIDAK dilakukan file ini.
Simpan sebagai robots.txt di akar situs — harus dapat dibuka di https://domain-anda/robots.txt, bukan di dalam subfolder.
Seluruh perhitungan berjalan di browser Anda. Alamat IP, nama interface, dan password yang Anda masukkan tidak pernah dikirim ke server CoreNet.
Yang perlu diluruskan lebih dulu
robots.txt tidak menyembunyikan apa pun.
Ia meminta perayap yang patuh untuk tidak merayapi sebuah jalur. Ia tidak mencegah halaman muncul di hasil pencarian bila ada situs lain yang menautkannya, dan sama sekali tidak menghalangi siapa pun membuka alamatnya langsung.
Lebih dari itu: menuliskan /admin/rahasia/ di dalam robots.txt sama dengan mengumumkan keberadaannya. File itu selalu dapat dibaca publik, dan itu tempat pertama yang dibuka orang yang sedang mencari-cari.
Untuk yang benar-benar harus tertutup, jawabannya autentikasi — bukan baris Disallow.
Kesalahan yang menghapus situs dari Google
User-agent: *
Disallow: /Dua baris. Sering tertinggal dari masa pengembangan situs, lalu ikut terbawa saat situs diluncurkan. Akibatnya situs menghilang dari hasil pencarian dalam hitungan hari, dan pemulihannya memakan waktu berminggu-minggu.
Karena itu pilihan "tutup seluruh situs" di sini harus dipilih sendiri, tidak pernah menjadi default.
Menutup perayapan tidak menghapus dari indeks
Ini berlawanan dengan dugaan dan penting sekali dipahami. Bila sebuah halaman sudah terlanjur diindeks lalu Anda memblokirnya di robots.txt, Google tidak dapat lagi membacanya — sehingga tidak pernah melihat perintah penghapusan di dalamnya. Halaman itu bertahan di indeks, kadang tanpa deskripsi.
Untuk benar-benar mengeluarkan halaman dari hasil pencarian:
- Biarkan perayapan tetap terbuka
- Pasang
<meta name="robots" content="noindex">di halamannya - Tunggu sampai Google membacanya dan menghapusnya
- Baru — kalau memang perlu — tutup perayapannya
Generator Meta Tag menyusun tag noindex-nya.
Soal perayap pengumpul data AI
Pilihan menutupnya disediakan, tetapi tidak menjadi default — dan itu keputusan yang perlu dipikirkan, bukan diambil karena refleks.
Sebagian perayap dalam daftar itu juga yang membuat isi situs Anda dapat dikutip beserta linknya di dalam jawaban asisten. Untuk situs yang mengandalkan pengunjung, jalur itu mulai berarti. Menutup semuanya berarti melepaskannya juga.
Daftarnya juga berubah cepat. Tinjau ulang sesekali.
Urutan Allow dan Disallow
Pada Google, aturan yang paling spesifik menang tanpa memandang urutan. Tetapi sebagian perayap lain memakai aturan pertama yang cocok — karena itu tool ini menulis Allow lebih dulu, agar pengecualian benar-benar berlaku di keduanya.
Baris Sitemap adalah pengecualian
Seluruh baris lain di robots.txt berisi jalur (/admin/). Baris Sitemap adalah satu-satunya yang harus berupa alamat lengkap:
Sitemap: https://situs-anda.com/sitemap.xmlPertanyaan yang sering diajukan
Crawl-delay itu berpengaruh? Bing dan Yandex membacanya. Google mengabaikannya sepenuhnya — untuk Google, laju perayapan diatur dari Search Console.
Boleh punya beberapa robots.txt? Tidak. Hanya satu, di akar domain. Setiap subdomain punya robots.txt sendiri.
Bagaimana memeriksa file saya sudah benar? Google Search Console menyediakan penguji yang menunjukkan aturan mana yang berlaku untuk sebuah alamat. Pakailah sebelum menganggapnya benar — satu tanda bintang di tempat keliru dapat menutup jauh lebih banyak daripada yang dimaksud.