Free robots.txt hadiah dari sahabat untuk anda semua

Dan juga ternyata sahabat blogger ikhlas hati telah menyediakan beberapa plugin untuk membuat sebuah robots.txt di blog kita semua. Salah satu plugin untuk membuat robots.txt adalah plugin KB Robots.txt. Silahkan instal terlebih dahulu plugin KB robots.txt di blog kamu. Setelah itu masuk ke Dasbor ~> Settings, lalu pilih KB robots.txt. Selanjutnya, silahkan copy kode di bawah ini:

Sitemap: http://fadhly.co.cc/sitemap.xml

User-agent: IRLbot

Crawl-delay: 3600

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/

Disallow: /readme.html

Disallow: /license.txt

Disallow: /search/

Disallow: /*?

Disallow: /*.php$

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$

Disallow: /*.gz$

Disallow: /*.wmv$

Disallow: /*.cgi$

Disallow: /*.xhtml$

Disallow: /*rurl=*

Allow: /sitemap.xml.gz$

Allow: /wp-content/uploads/

User-agent: Mediapartners-Google

Allow: /

User-agent: Adsbot-Google

Allow: /

User-agent: Googlebot-Image

Allow: /

User-agent: Googlebot-Mobile

Allow: /

Setelah itu paste kan kode tersebut di KB robots.txt. Jika sudah klik Submit.

Catatan:
Untuk Sitemap: http://fadhly.co.cc/sitemap.xml, silahkan ganti dengan alamat blog sitemap kamu. Dan untuk mengecek robots.txt kamu ketikkan http://namablog.com/robots.txt di browser kamu. Contohnya: http://fadhly.co.cc/robots.txt