Robots.txt adalah file teks di folder utama blog yang memberi tahu mesin pencari halaman mana yang boleh dan tidak boleh dirayapi. Kalau file ini salah tulis, halaman produk atau artikel utama bisa terblokir dan tidak pernah muncul di hasil pencarian. Panduan ini menunjukkan cara membuat robots.txt yang benar, mulai dari menyusun aturan sampai mengecek hasilnya di Google Search Console.

Apa Fungsi Robots.txt dan Apa yang Bukan Tugasnya

File ini bekerja seperti rambu lalu lintas untuk perayap (crawler). Saat Googlebot datang ke domain Anda, hal pertama yang dibacanya adalah /robots.txt. Dari situ ia tahu folder mana yang boleh dimasuki dan mana yang sebaiknya dilewati.

Robots.txt hanya mengatur perayapan, bukan pengindeksan. Halaman yang diblokir tetap bisa muncul di hasil pencarian kalau ada situs lain yang menautkannya, meski cuplikannya terbatas. Untuk mengeluarkan halaman dari indeks, pakai tag noindex atau hapus lewat Google Search Console. Banyak pemilik blog mengira memblokir di robots.txt sudah cukup, lalu bingung ketika URL-nya masih muncul.

Robots.txt juga bukan alat keamanan. Siapa pun bisa membuka file ini lewat browser, jadi jangan pernah menaruh password, alamat email, atau tautan admin rahasia di dalamnya.

Langkah Membuat Robots.txt dari Nol

1. Tentukan halaman yang perlu diblokir

Buka blog Anda dan lihat folder yang tidak berguna bagi pengunjung dari mesin pencari. Umumnya berisi halaman admin, halaman pencarian internal, dan folder sistem. Catat juga halaman yang ingin tetap dirayapi: artikel, halaman kategori utama, dan halaman statis seperti tentang dan kontak.

2. Tulis aturannya baris demi baris

Format robots.txt sederhana: satu baris berisi nama perayap, diikuti baris Allow atau Disallow. Contoh berikut cocok untuk blog WordPress yang baru dirapikan:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://namadomain.com/sitemap.xml

Baris User-agent: * berlaku untuk semua perayap. Kurung miring di akhir aturan /wp-admin/ penting: tanpanya, Google bisa memblokir semua URL yang diawali wp-admin, termasuk file yang dibutuhkan tema. Pengecualian admin-ajax.php sering dipakai tema dan plugin untuk memuat konten dinamis, jadi biarkan terbuka.

Aturan Disallow: /?s= mencegah Google merayapi ribuan halaman hasil pencarian internal yang isinya mirip. Halaman seperti ini kalau terindeks bisa memakan anggaran perayapan dan membuat artikel asli kalah bersaing di indeks.

3. Tambahkan lokasi sitemap

Baris Sitemap: membantu perayap menemukan daftar URL Anda lebih cepat. Satu blog cukup punya satu sampai dua baris sitemap: satu untuk postingan dan halaman, satu untuk kategori bila terpisah. Pastikan alamatnya sudah memakai https dan domain yang benar.

4. Unggah ke folder utama

File harus berada tepat di akar domain, bukan di dalam subfolder. Alamat yang benar adalah https://namadomain.com/robots.txt. Di WordPress, Anda bisa membuatnya lewat File Manager hosting atau menu editor tema, tetapi cara paling aman adalah lewat plugin SEO yang sudah menyediakan kolom khusus. Kalau memakai plugin, pastikan tidak ada plugin lain yang ikut menulis robots.txt karena aturan bisa saling bertabrakan.

Sebelum mulai menulis aturan, sebaiknya pahami dulu hirarki struktur situs Anda. Panduan cara menyusun struktur URL blog yang SEO friendly membantu menentukan folder mana yang memang layak dirayapi.

Kesalahan yang Sering Terjadi

• Memblokir seluruh situs. Baris Disallow: / di bawah User-agent: * melarang semua halaman. Ini kesalahan paling umum saat blog tiba-tiba hilang dari Google.
• Memblokir file CSS dan JavaScript. Googlebut perlu membaca file ini untuk memahami tampilan halaman. Memblokirnya bisa menurunkan penilaian kualitas halaman.
• Menulis alamat domain lengkap di baris Disallow. Aturan hanya boleh berisi path, misalnya /tag/, bukan https://namadomain.com/tag/.
• Lupa memperbarui setelah mengubah struktur URL. Folder lama yang sudah tidak dipakai sebaiknya tetap diblokir sampai semua tautan dialihkan.
• Menaruh aturan di dalam komentar. Baris setelah tanda # diabaikan perayap, jadi aturan yang diawali pagar tidak akan berfungsi.

Menguji Robots.txt Sebelum Dibiarkan Aktif

Setelah file terunggah, buka alamatnya di browser. Kalau yang muncul adalah halaman 404 atau isi file lain, berarti penempatannya salah. Cara paling akurat adalah memakai penguji di Google Search Console: masukkan URL halaman penting, lalu lihat apakah statusnya “diizinkan” atau “diblokir”. Uji setidaknya satu artikel, satu halaman kategori, dan satu halaman produk.

Lakukan pengujian ulang setiap kali Anda mengubah tema atau memasang plugin baru, karena beberapa plugin menulis ulang robots.txt secara otomatis. Catat tanggal perubahan di dokumen internal supaya tidak bingung saat ada masalah perayapan.

Kaitannya dengan Kinerja dan Pelaporan Bisnis

Perayapan yang rapi membuat artikel baru lebih cepat masuk indeks, yang berarti calon pelanggan lebih cepat menemukan halaman produk atau panduan Anda. Dampaknya baru terlihat di laporan bulanan, ketika trafik organik mulai bergerak. Untuk keperluan itu, Anda perlu memisahkan kunjungan organik dari kunjungan iklan dan media sosial, seperti dijelaskan pada perbandingan sumber trafik untuk monetisasi blog.

Bagi yang mengelola toko atau jasa, angka trafik sebaiknya dibaca bersama catatan penjualan. Kalau ingin menyusun catatan keuangan yang bisa dipakai untuk menilai apakah kenaikan kunjungan berbuah pendapatan, lihat contoh di cara menyusun laporan laba rugi usaha kecil langkah demi langkah.

Setelah robots.txt beres, lanjutkan dengan memeriksa elemen teknis lain. Panduan lengkap SEO untuk situs bisnis memetakan urutan pemeriksaan dari kecepatan situs sampai struktur data.

Ringkasan

Robots.txt yang benar hanya berisi aturan sederhana: izinkan halaman yang menghasilkan trafik, blokir folder admin, pencarian internal, dan halaman keranjang. Tulis path tanpa domain, sertakan lokasi sitemap, lalu uji hasilnya di Search Console. Periksa ulang setiap kali ada perubahan tema atau plugin.

Pertanyaan yang Sering Diajukan

Apakah robots.txt wajib ada di setiap blog?

Tidak wajib, tetapi sangat membantu. Tanpa file ini, perayap akan mencoba masuk ke semua URL yang ditemukan, termasuk halaman admin dan hasil pencarian internal. Memblokirnya menghemat anggaran perayapan untuk halaman yang benar-benar penting.

Bagaimana cara mengetahui robots.txt saya memblokir halaman penting?

Gunakan penguji robots.txt di Google Search Console. Masukkan URL halaman yang curiga terblokir, lalu periksa statusnya. Kalau hasilnya “diblokir”, telusuri aturan mana yang cocok dengan URL tersebut dan hapus atau persempit aturannya.

Apakah memblokir halaman di robots.txt menghapusnya dari Google?

Tidak. Pemblokiran hanya menghentikan perayapan. Kalau halaman sudah terindeks, ia bisa tetap muncul dengan cuplikan terbatas. Untuk mengeluarkannya, pakai tag noindex pada halaman tersebut, atau ajukan penghapusan sementara lewat Search Console.