Bagaimana caranya untuk memperbaiki atau mengatasi maslah URL yang dicekal oleh Robot.txt, anda bisa melihatnya di google webmaster / Search Consolblog e, yang memiliki blog lebih dari satu, anda harus memilih dahulu blog mana yang mau dilihat, tetapi kalau anda memiliki cuma satu yang langsung saja :
- Click Perayapan
- Lalu pilih Penguji robot.txt
maka akan muncul seperti gambar dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://gowel-gowelblog.blogspot.com/sitemap.xml
- kemudian anda edit menjadi :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap:
http://www.gowel-gowelblog.blogspot.com/feeds/posts/default?orderby=updated
Lalu Masuk ke Setelan :
perayapan dan pengindekan
klik robot.txt khusus ====> klik YA
lalu masukan kode yang sudah diedit tadi
url berwarna merah anda ganti dengan url anda
Semoga bermanfaat