Kali ini saya akan Share Cara Setting Robot.txt Khusus . Pada fitur search preferences blogger ini, kita juga dapat membuat sitemap blog pada opsi custom robots.txt secara otomatis. Artinya kita tidak perlu lagi ping blog secara berkala, dengan penyesuaian robots.txt untuk sitemap, maka secara otomatis ketika google mengcrawl blog kita seluruh postinga akan segera diindeks oleh google.
Caranya: pilih edit pada custom robots.txt lalu pilih "ya" kemudian copy dan pastekan kode dibawah ini :
Sumber : http://share4rt.blogspot.com/2012/10/setting-robottxt-khusus.html#ixzz2Ex5aXLtj
yes