Cara membuat konfigurasi robot.txt di blogseo friendly

Menggunakan sebuah robot.txt adalah salah satu teknik yang dianjurkan untuk membuat blog anda lebih seo friendly, namun sedikit saja kesalahan konfigurasi robot.txt dapat membuat artikel ataupun blog anda tidak dapat di index oleh google.

Jadi, dalam artikel ini saya akan berbagi tips setting konfigurasi robot.txt untuk blog yang seo friendly, yang bisa anda jadikan panduan untuk mengkonfigurasi robot.txt anda.

Fungsi robot.txt

Fungsi robot.txt adalah membantu googlebot dalam merayapi dan mengindex blog anda, selain itu robot.txt juga bisa sebagai filter untuk halaman untuk tidak tampil di google, misalnya halaman contact us, about atau lain lainnya yang tidak ingin anda tampilkan di google engine

Sekali lagi, gunakan robot.txt dengan hati-hati untuk menghindari kesalahan yang berakibat google tidak bisa mengindex blog anda.

Cara konfigurasi robot.txt di web master tools

Masuk ke  Web masters tools pilih blog anda dan langsung menuju ke perayapan atau crawl dalam bahasa inggris, pada sub menu pilih penguji robot.txt atau test robot.text

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap:http:// urlbloganda/sitemap.xml

Diatas adalah konfigurasi default robot.txt diWeb masters tools, pengertiannya adalah:

User-agent: Mediapartners-google = User agent menyebutkan bahwa blog tersebut merupakan Media partners dari google
Disallow :* =tidak ada perayapan yang difilter atau di blok
User-Agent:* =semua robot perayapan search engine
Disallow:/search =tidak diperbolehkan merayapi url folder search
Allow:/ = memperbolehkan search engine merayapi semua osi laman blog anda, kecuali url /search karna pada command sebelumnya, /search tidak di ijinkan untuk dirayapi
Sitemap:http://urlbloganda/sitemap.xml = mengijinkan google search engine untuk merayapi atau meng index site map anda

Untuk menambahkan command agar suatu halaman tidak dirayapi , tambahkan saja Disallow:/p/about.html untuk laman about atau bisa anda ganti dengan judul halaman about anda

Konfigurasi robot.txt di blog

Masuk ke akun Blogger milik anda , dan menuju ke setting-search preferences, edit robot.txt dan centang kolom kolom yang sama seperti yang ada pada foto ini, hati hati dalam mencentang kolom robot tag, karna kesalahan sedikit saja bisa berakibat deindex oleh google seach, jadi perhatikan baik baik sebelum bertindak.

Screen capture

Itulah cara Konfigurasi robot.txt di blog seo friendly terbaru

Untuk membaca tips seo off page dan onpage dadi saya, Silahkan baca artikel artikel menarik lainnya dari saya pada kolom widget 'terbaru' , selamat membaca dan terima kasih.