Cara Membuat File Robots.txt di WordPress

File Robots.txt adalah file sederhana pada sebuah situs website untuk menentukan prilaku robot search engine bagaimana ia harus menjelajahi dan mengindex situs kamu. Seperti namanya Robots.txt yang merupakan seraingkaian text untuk menganturnya.

Default Robots.txt WordPress

WordPress secara default sebenarnya langsung membuat robots.txt pada setiap website yang di install cms wordpress. Namun, hanya sebatas saja. Artinya, file ini perlu untuk anda buat manual dan setting manual. Dibawah ini adalah file robots.txt bawaan wordpress.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://websitemu.com/sitemap.xml

Pada WordPress beberapa plugins SEO seperti Yoast, anda bisa mensetting langsung file ini. Biasanya, file ini juga berisi sitemap xml, folder dan file yang tidak ingin diindex oleh search engine. Untuk membuatnya disitus wordpress kamu, silahkan ikuti langkah-langkah berikut ini.

  • Masukan ke Cpanel website kamu.
  • Lanjut masuk ke file manager, dan pilih folder website yang ingin kamu buat file robots.txt.
  • Pilih Tambah File pada file manager kamu. new file
  • Lalu, beri nama file tersebut robots.txt dan pilih direktori pada cpanel dimana anda akan menempatkannya. file directori
  • Setelah itu, pilih edit file robots.txt yang baru saja kamu buat.
  • Masukkan file robots.txt yang kamu inginkan lalu save.

Contoh File Robots.txt

Kebayakan webmaster memiliki cara tersendiri untuk mengatur file ini. Karena disesuaikan dengan kebutuhan website dan cms yang digunakan serta letak direktori file yang ada di file managernya. Namun pada wordpress, kamu bisa memakai (robots.txt klik melihat langsung) seperti BoosWP dibawah ini.

User-agent: *

Disallow: /cgi-bin

Disallow: /readme.html

Disallow: *?p=*

Disallow: /uncategorized/*

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: */trackback/

Disallow: */feed/

Disallow: /*/feed/rss/$

 

User-agent: Mediapartners-Google

Disallow:

 

Sitemap: http://www.booswp.com/sitemap.xml

Penjelasan

  • Disallow = Tidak di Index/tidak ingin diakses
  • /cgi-bin = merupakan default file di file manager
  • /readme.html = pada wordpress, file ini merupakan file copyright dari cms yang digunakan.
  • *?p=* = Adalah short url dari wordpress
  • Sisahnya merupakan file dari cms wordpress yang kita gunakan.
  • Sitemap: terlebih dahulu, silahkan buat file sitemap xml kamu. Kamu bisa menggunakan plugins wordpress untuk mempermudahnya.

Tambahan

Kami sangat menyarankan anda membuat file robots.txt ini sesuai kebutuhan, cms yang kamu gunakan, dan melihat contoh-contoh dari situs besar. Seperti File robots.txt Thenextweb sebagai contohnya. Kamu juga dapat menambah beberapa file pendung dari search engine lain seperti bing, yahoo, baidu, yandex, dan lainnya.