Mengatasi Error “Diindeks, meski diblokir oleh robots.txt” pada Blogger

Mengatasi Error “Diindeks, meski diblokir oleh robots.txt” pada Blogger

Pada awal tahun 2018 lalu Google merilis Search Console barunya dengan banyak melalukan perubahan, mulai dari tampilan baru yang lebih smooth, hingga fitur-fitur baru yang tidak akan kamu temui pada Google Webmaster Tools Versi lama

Dengan update tersebut banyak yang bertanya di Forum Bantuan Webmaster Google bahwa situsnya menerima pesan di Search Console berbunyi, “Diindeks meski diblokir oleh robots.txt”

Bagi pemilik situs yang kurang tahu, mungkin akan panik mendengar kata ”diblokir“ dan “dampak negatif” pada pesan tersebut. Kedengaran nya seperti masalah besar. Apa iya?

Ingatlah, bahwa pesan dari Search Console itu sifatnya hanya peringatan atau pemberitahuan.

Tidak selalu merupakan hal yang harus diperbaiki. Karena itu di peringatan tersebut tertulis, 

Sebaiknya Anda meninjau dan mempertimbangkan untuk memperbaiki masalah ini.

Jadi perlu ditinjau dan dipertimbangkan. Kalau setelah ditinjau ternyata bukan masalah, ya berarti tidak ada yang perlu diperbaiki.

Untuk kasus ini, pertama-tama yang perlu dicek adalah file robots.txt Anda.

Robots.txt adalah file yang berisi perintah atau larangan yang ditujukan bagi perayap mesin pencari.


Cara mengeceknya, tambahkan /robots.txt di belakang alamat blog kamu

Contoh: https://entahbro.blogspot.com/robots.txt

Ada dua kemungkinan disini:
Jika menggunakan default robots.txt

Jika Anda menggunakan pengaturan robots.txt standar dari Blogger (ini jika pengaturan robots.txt dan tag tajuk robots.txt khusus dinonaktifkan), maka file-nya akan seperti ini:

User-agent: Mediapartners-Google Disallow: 
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xml

Perintah Disallow: / dimaksudkan melarang mesin pencari untuk merayapi direktori atau halaman tersebut.

Pada file di atas ada perintah Disallow: /search

yang artinya melarang mesin pencari untuk merayapi halaman /search. Contoh URL nya:

https://example.com/search?q=blogger+indo
https://example.com/search/label/tutorialblogger?updated-max=2007-11-14T20:40:00-08:00&max-results=20&start=20&by-date=false
Kenapa sengaja dilarang oleh Blogger?
Karena memang tidak perlu dirayapi maupun diindeks.

Dan halaman-halaman /search bisa menghasilkan hasil pencarian tanpa batas, jadi itu hanya menghabiskan kuota perayapan (setiap situs ada batas penggunaan crawl), yang harusnya bisa digunakan untuk halaman lain yang lebih penting seperti halaman postingan.

Nah, ketika Googlebot menemukan URL /search di situs Anda, ia tidak akan mengcrawl/merayapi.

Tapi jika URL tsb ditemukan di situs lain yang menautkan ke URL tsb, maka bisa saja diindeks oleh Google.

Ingat, pengindeksan dan perayapan itu dua hal yang berbeda.

Inilah asal-muasal pesan di Search Console tsb di atas. URL yang ditemukan Google di situs lain itu “Diindeks, meski diblokir oleh robots.txt” website Anda.

Apakah perlu khawatir kalau URL /search diindeks?

Jawaban nya Tidak.

You Might Also Like:

Posting Komentar