Apa Itu Robots.txt?

Robots.txt adalah file teks yang digunakan untuk memberikan instruksi kepada crawler atau bot mesin pencari mengenai URL atau bagian tertentu dari website yang boleh atau tidak boleh diakses untuk proses crawling.

File ini merupakan salah satu bagian dari Technical SEO karena dapat memengaruhi bagaimana crawler menemukan dan mengakses bagian tertentu dalam sebuah website.

Apa Itu Robots.txt?

Robots.txt adalah file dengan nama robots.txt yang biasanya ditempatkan di direktori utama atau root sebuah website.

Contohnya:

https://contoh.com/robots.txt

Ketika crawler mengunjungi website, crawler dapat membaca file tersebut untuk mengetahui aturan crawling yang ditentukan oleh pemilik website.

Apa Fungsi Robots.txt dalam SEO?

Fungsi utama robots.txt adalah memberikan petunjuk kepada crawler mengenai bagian website yang ingin dibatasi dari proses crawling.

Dengan konfigurasi yang tepat, robots.txt dapat membantu pengelola website mengatur akses crawler terhadap URL atau direktori tertentu.

Contoh Sederhana Robots.txt

User-agent: *
Disallow: /admin/

Contoh tersebut memberikan instruksi kepada crawler yang mengikuti aturan tersebut agar tidak melakukan crawling pada direktori /admin/.

Namun, robots.txt bukan mekanisme keamanan. URL yang diblokir melalui robots.txt tetap dapat diketahui oleh pihak lain dan tidak boleh dianggap sebagai cara untuk menyembunyikan data rahasia.

Apa Itu User-agent?

User-agent digunakan untuk menentukan crawler mana yang menjadi target sebuah aturan.

Contoh:

User-agent: *
Disallow: /private/

Tanda * berarti aturan tersebut ditujukan secara umum kepada crawler yang mengikuti standar robots.txt.

Apa Itu Disallow?

Disallow digunakan untuk memberikan instruksi agar crawler tidak melakukan crawling pada URL atau direktori tertentu.

Contoh:

User-agent: *
Disallow: /admin/
Disallow: /private/

Pada contoh tersebut, crawler diarahkan untuk tidak melakukan crawling pada direktori /admin/ dan /private/.

Apa Itu Allow?

Allow dapat digunakan untuk memberikan pengecualian pada URL tertentu ketika terdapat aturan pembatasan yang lebih luas.

Contohnya:

User-agent: *
Disallow: /folder/
Allow: /folder/public/

Dalam konfigurasi seperti ini, bagian tertentu dapat diberikan akses meskipun direktori induknya memiliki aturan pembatasan.

Robots.txt Berbeda dengan Noindex

Robots.txt dan noindex memiliki fungsi yang berbeda. Robots.txt digunakan untuk memberikan instruksi mengenai crawling, sedangkan noindex digunakan untuk memberi tahu mesin pencari agar sebuah halaman tidak dimasukkan ke dalam indeks apabila instruksi tersebut dapat diproses oleh crawler.

Karena itu, robots.txt tidak seharusnya digunakan sebagai pengganti noindex.

Jika sebuah halaman ingin dikeluarkan dari hasil pencarian, jangan sekadar memblokir crawling halaman tersebut melalui robots.txt karena crawler justru dapat kehilangan kesempatan untuk membaca instruksi noindex pada halaman tersebut.

Apakah Robots.txt Memengaruhi Ranking Google?

Robots.txt bukan faktor ranking secara langsung. Namun, konfigurasi yang salah dapat memengaruhi kemampuan crawler mengakses halaman atau resource penting dalam website.

Jika halaman penting secara tidak sengaja diblokir, proses crawling dan pemahaman mesin pencari terhadap website dapat terganggu.

Robots.txt dan Sitemap XML

Robots.txt juga dapat digunakan untuk menunjukkan lokasi XML Sitemap kepada crawler.

Contohnya:

User-agent: *
Disallow:

Sitemap: https://contoh.com/sitemap.xml

Sitemap membantu memberikan daftar URL yang ingin ditemukan oleh mesin pencari, sedangkan robots.txt digunakan untuk memberikan aturan crawling. Keduanya memiliki fungsi yang berbeda tetapi dapat digunakan bersama dalam Technical SEO.

Apakah Semua Website Membutuhkan Robots.txt?

Tidak semua website membutuhkan aturan robots.txt yang kompleks. Website sederhana bahkan dapat menggunakan konfigurasi yang sangat minimal.

Yang paling penting adalah memastikan file tersebut tidak secara tidak sengaja memblokir halaman atau resource yang memang ingin ditemukan dan diproses oleh mesin pencari.

Kesalahan Robots.txt yang Sering Terjadi

• Memblokir seluruh website secara tidak sengaja.
• Memblokir direktori yang berisi halaman penting.
• Menganggap robots.txt sebagai sistem keamanan.
• Menggunakan robots.txt sebagai pengganti noindex.
• Salah menuliskan path atau aturan URL.
• Memblokir file atau resource yang dibutuhkan untuk memahami halaman.
• Mengubah robots.txt tanpa memeriksa dampaknya terhadap crawling.

Bagaimana Cara Memeriksa Robots.txt?

Pemilik website dapat membuka URL robots.txt secara langsung dengan menambahkan /robots.txt setelah nama domain.

https://domainanda.com/robots.txt

Setelah itu, periksa apakah terdapat aturan Disallow yang mungkin menghalangi crawler mengakses halaman penting.

Untuk website yang dikelola menggunakan Google Search Console, data crawling dan indexing juga dapat digunakan untuk membantu mengetahui apakah terdapat masalah pada akses halaman website.

Robots.txt untuk Website Bisnis

Website bisnis biasanya memiliki berbagai jenis halaman, seperti halaman produk, layanan, kategori, artikel, kontak, dan halaman administrasi.

Robots.txt dapat digunakan untuk membantu mengatur bagian yang tidak perlu dicrawl, tetapi halaman yang penting untuk pencarian organik harus tetap dapat ditemukan dan diproses oleh crawler.

Karena setiap website memiliki struktur yang berbeda, konfigurasi robots.txt sebaiknya dibuat berdasarkan kebutuhan dan struktur website, bukan sekadar menyalin konfigurasi dari website lain.

Checklist Robots.txt

• File bernama robots.txt.
• Ditempatkan pada root domain.
• Aturan User-agent ditulis dengan benar.
• Periksa setiap aturan Disallow.
• Pastikan halaman penting tidak terblokir.
• Jangan menggunakan robots.txt sebagai keamanan data.
• Bedakan robots.txt dengan meta robots noindex.
• Tambahkan lokasi sitemap jika diperlukan.
• Periksa perubahan robots.txt setelah melakukan optimasi website.

Kesimpulan

Robots.txt adalah file yang digunakan untuk memberikan instruksi kepada crawler mengenai bagian website yang boleh atau tidak boleh dicrawl. File ini merupakan salah satu komponen Technical SEO yang perlu diperhatikan, terutama pada website dengan struktur dan jumlah halaman yang besar.

Robots.txt bukan alat untuk meningkatkan ranking secara langsung dan bukan sistem keamanan. Kesalahan konfigurasi justru dapat menghambat crawler mengakses halaman atau resource penting.

Karena itu, gunakan robots.txt secara hati-hati dan sesuai kebutuhan. Pastikan halaman penting untuk SEO tetap dapat dicrawl, sementara bagian website yang memang perlu dibatasi diberikan aturan yang tepat.