Pada awal tahun 2018 lalu Google merilis Search Console barunya dengan banyak melalukan perubahan, mulai dari tampilan baru yang lebih smooth, hingga fitur-fitur baru yang tidak akan kamu temui pada Google Webmaster Tools Versi lama
Dengan update tersebut banyak yang bertanya di Forum Bantuan Webmaster Google bahwa situsnya menerima pesan di Search Console berbunyi, “Diindeks meski diblokir oleh robots.txt”
Bagi pemilik situs yang kurang tahu, mungkin akan panik mendengar kata ”diblokir“ dan “dampak negatif” pada pesan tersebut. Kedengaran nya seperti masalah besar. Apa iya?
Ingatlah, bahwa pesan dari Search Console itu sifatnya hanya peringatan atau pemberitahuan.
Tidak selalu merupakan hal yang harus diperbaiki. Karena itu di peringatan tersebut tertulis,
“Sebaiknya Anda meninjau dan mempertimbangkan untuk memperbaiki masalah ini.”
Jadi perlu ditinjau dan dipertimbangkan. Kalau setelah ditinjau ternyata bukan masalah, ya berarti tidak ada yang perlu diperbaiki.
Cara mengeceknya, tambahkan /robots.txt di belakang alamat blog kamu
Jika Anda menggunakan pengaturan robots.txt standar dari Blogger (ini jika pengaturan robots.txt dan tag tajuk robots.txt khusus dinonaktifkan), maka file-nya akan seperti ini:
User-agent: Mediapartners-Google Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xml
Perintah Disallow: / dimaksudkan melarang mesin pencari untuk merayapi direktori atau halaman tersebut.
Pada file di atas ada perintah Disallow: /search
yang artinya melarang mesin pencari untuk merayapi halaman /search. Contoh URL nya:
https://example.com/search?q=blogger+indo
https://example.com/search/label/tutorialblogger?updated-max=2007-11-14T20:40:00-08:00&max-results=20&start=20&by-date=false
Karena memang tidak perlu dirayapi maupun diindeks.
Dan halaman-halaman /search bisa menghasilkan hasil pencarian tanpa batas, jadi itu hanya menghabiskan kuota perayapan (setiap situs ada batas penggunaan crawl), yang harusnya bisa digunakan untuk halaman lain yang lebih penting seperti halaman postingan.
Nah, ketika Googlebot menemukan URL /search di situs Anda, ia tidak akan mengcrawl/merayapi.
Tapi jika URL tsb ditemukan di situs lain yang menautkan ke URL tsb, maka bisa saja diindeks oleh Google.
Ingat, pengindeksan dan perayapan itu dua hal yang berbeda.
Inilah asal-muasal pesan di Search Console tsb di atas. URL yang ditemukan Google di situs lain itu “Diindeks, meski diblokir oleh robots.txt” website Anda.
Apakah perlu khawatir kalau URL /search diindeks?
Jawaban nya Tidak.
Posting Komentar