Robots.txt Salah Satu Baris, Situs Bisa Hilang dari Google

Satu baris di robots.txt bisa nurunin seluruh situs dari hasil pencarian. Dan yang lebih sering kejadian: satu baris yang dipasang buat nyembunyiin halaman malah bikin halamannya tetap muncul, tapi tanpa deskripsi.

Dua-duanya berasal dari salah paham yang sama.

Robots.txt ngatur perayapan, bukan pengindeksan

Bedanya kelihatan sepele, padahal ini akar hampir semua masalahnya.

• Disallow = "jangan ambil halamannya"
• noindex = "jangan tampilkan di hasil pencarian"

Halaman yang di-Disallow tapi banyak ditaut dari luar tetap bisa muncul di hasil pencarian — Google tau alamatnya ada dari tautan itu. Yang muncul cuma alamatnya, tanpa judul dan deskripsi, karena isinya nggak pernah diambil.

Dan di sinilah jebakan terbesarnya: halaman yang di-Disallow nggak akan pernah dibaca noindex-nya. Kalau Anda pasang noindex di halaman lalu ikut mem-Disallow alamatnya, Google nggak pernah lihat perintah noindex itu — jadi halamannya justru bertahan di indeks.

Kalau tujuannya nyembunyiin dari hasil pencarian: pakai noindex, dan biarkan halamannya boleh dirayapi.

Baris yang paling sering ketinggalan

User-agent: *
Disallow: /

Ini bawaan situs staging. Kalau ikut kebawa pas pindah ke produksi, seluruh situs berhenti dirayapi — dan ini bisa berminggu-minggu nggak ketahuan, karena halaman lama masih nangkring di indeks sampai Google ngecek ulang.

Gejala khasnya di Search Console: halaman berpindah pelan-pelan ke "Diblokir oleh robots.txt", satu per satu, tanpa ada yang ngubah apa-apa hari itu.

Cek pertama tiap kali ada yang aneh sama pengindeksan: buka domainanda.com/robots.txt di browser dan baca sendiri isinya.

Nge-blok CSS dan JavaScript bikin halaman dinilai rusak

Dulu orang biasa mem-Disallow folder /assets atau /wp-includes biar hemat rayapan.

Sekarang itu merugikan. Google ngerender halaman kayak browser: kalau CSS dan JS-nya diblokir, yang dia lihat halaman berantakan tanpa tata letak — dan penilaian keramahan seluler ikut jatuh.

Biarkan berkas tampilan boleh dirayapi. Yang pantas diblokir cuma yang beneran nggak ada gunanya di hasil pencarian: keranjang belanja, hasil pencarian internal, halaman cetak, dan endpoint yang sifatnya aksi.

Robots.txt bukan pengaman

Ini yang sering bikin celaka.

Isinya publik dan bisa dibaca siapa saja. Menulis Disallow: /admin-rahasia sama saja dengan mengumumkan alamat itu ke seluruh internet — dan perayap jahat justru baca robots.txt duluan buat nyari yang menarik.

Yang perlu dilindungi butuh autentikasi, bukan baris di robots.txt.

Aturan pencocokannya nggak seperti dugaan

• Pencocokan berdasarkan awalan. Disallow: /produk ikut ngeblok /produk-baru dan /produkdemo.
• Yang menang aturan paling spesifik, bukan yang paling atas. Allow: /blog/penting mengalahkan Disallow: /blog walau ditulis di bawahnya.
• Blok User-agent yang cocok cuma satu. Kalau ada blok khusus Googlebot, Googlebot ngabaikan seluruh isi blok * — termasuk aturan yang Anda kira berlaku buat semua.

Yang terakhir ini sering bikin aturan hilang diam-diam pas seseorang nambahin blok khusus buat satu perayap.

Crawl-delay diabaikan Google

Crawl-delay dipatuhi Bing dan Yandex, tapi nggak sama Google. Kalau Googlebot terlalu ramai buat server Anda, aturnya lewat Search Console, bukan lewat robots.txt.

Perayap AI: keputusan, bukan default

GPTBot, ClaudeBot, CCBot, dan sejenisnya patuh sama robots.txt. Mau diizinin atau nggak itu keputusan bisnis: memblokirnya nyimpen bandwidth dan nahan isi Anda dipakai latihan model, tapi juga bikin situs Anda nggak pernah jadi rujukan di jawaban AI.

Nggak ada jawaban benar yang berlaku buat semua. Yang salah cuma satu: nggak memutuskan sama sekali lalu kaget lihat log.

Sebutkan sitemap di dalamnya

Satu baris, dan sering kelupaan:

Sitemap: https://domainanda.com/sitemap.xml

Generator robots.txt nyusun berkasnya sesuai jenis situs Anda, sekalian ngingetin baris mana yang berbahaya.

Bacaan lanjutan: Sitemap sudah dikirim tapi tidak terindeks dan Website tidak terindeks Google.