Cara Mudah Setting Robot TXT di Wordpress yang Benar dan SEO Friendly

Cara Setting Robot TXT di Worspress yang Benar dan SEO Friendly - Saat Anda membuat website baru, search engine akan mentransmisikan minion (atau bot) untuk ‘dirayapi’ website Anda dan membuat sitemap dari semua halaman yang dimiliki oleh website Anda. Dengan begitu, mesin pencari akan mengerti halaman mana saja yang harus ditampilkan pada saat seorang user mengetikkan kata kunci terkait.

Cara Mudah Setting Robot TXT di Wordpress yang Benar dan SEO Friendly
Sumber Gambar: wpbeginner.com
Hanya saja, website saat ini memuat lebih banyak elemen dan tidak hanya sekadar halaman saja. Misalnya, WordPress memungkinkan Anda untuk menginstall plugin yang terkadang juga memiliki direktori bawaan. Tentu saja Anda tidak ingin plugin atau direktorinya muncul di hasil pencarian padahal sama sekali tidak ada kaitannya.

File robots.txt menyediakan sekumpulan instruksi untuk bot mesin pencari. Instruksi tersebut seolah memberi notifikasi: “Yang Anda cari ada di sini. Anda tidak perlu masuk ke ruang lainnya!”. Informasi dan instruksi pada file ini cukup jelas dan mudah untuk dibuat, bahkan jika Anda bukan seorang yang paham masalah teknis.

Pemilik situs pasti juga menginginkan situs miliknya berada di peringkat atas pencarian Google. Namun, mesin pencari Google tidak bisa membedakan halaman mana yang boleh dan tidak boleh diindeks. Agar halaman setiap situs dapat terindeks dengan rapi dan membatasi halaman yang tidak boleh diindeks, Anda membutuhkan file robots.txt. Apa itu robots.txt dan bagaimana cara setting robot txt di WordPress? Kami akan membahasnya melalui artikel ini.

Sebelum itu, perlu diketahui bahwa dengan memberikan robots.txt pada situs, maka akan memberikan tanda ke Google ke mana saja akses yang harus dilakukan dan halaman mana saja yang perlu diindeks.

Selain itu robots.txt juga berguna untuk SEO, di mana setiap artikel di blog kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google. Tujuannya adalah untuk menaikan peringkat situs di Search Engine Result Pages (SERP) dan proses indexing lebih terstruktur.

Baca juga: Tutorial Lengkap Cara SEO Install Website Wordpress Self Hosting untuk Pemula

Pengertian Robots.txt

Berikut ini adalah pengertian definisi robot txt dari MOZ:

Robots.txt is a text file webmasters create to instruct web robots (typically search engine robots) how to crawl pages on their website. The robots.txt file is part of the the robots exclusion protocol (REP), a group of web standards that regulate how robots crawl the web, access and index content, and serve that content up to users. The REP also includes directives like meta robots, as well as page-, subdirectory-, or site-wide instructions for how search engines should treat links (such as “follow” or “nofollow”).

In practice, robots.txt files indicate whether certain user agents (web-crawling software) can or cannot crawl parts of a website. These crawl instructions are specified by “disallowing” or “allowing” the behavior of certain (or all) user agents.
Format kerangka penulisan robot txt adalah sebagai berikut:
User-agent: [user-agent name] Disallow: [URL string not to be crawled]
Robots.txt adalah sebuah file yang menyediakan sekumpulan instruksi untuk mesin pencari atau menunjukkan jalan kepada mesin pencari. Istilah mudahnya adalah sebagai jalan atau tanda yang digunakan situs web untuk menunjukkan jalan kepada mesin pencari.

Ketika membuat website baru dan dihubungkan dengan Google Webmaster Tool maka setiap halaman web akan di ‘crawl’ oleh Google dan muncul di hasil pencarian. Google akan melakukan pendataan sesuai dengan kata kunci yang ada pada situs dan lain sebagainya.

Robots.txt bertugas untuk memisahkan halaman yang tidak ingin Anda tampilkan ke dalam mesin pencari. Dikarenakan meskipun tidak ada file ini Google tetap akan melakukan proses ‘crawl’ sampai dengan keseluruhan halaman yang ada di situs.

Selain itu robots.txt juga bertugas untuk menghalangi beberapa situs pencari agar tidak melakukan crawl situs. Hal ini bertujuan untuk mengurangi beban yang harus diterima oleh situs.

Jadi intinya, robots.txt membantu mesin pencari untuk memilih halaman situs mana saja yang akan ditampilkan pada mesin pencari. Pengguna juga bisa menyesuaikan halaman yang boleh ditampilkan pada mesin pencarian Google.

Letak File Robots.txt

File robots.txt sebenarnya sudah ada di dalam folder root pada server penyimpanan file situs atau yang biasa disebut dengan public_html. Hanya saja robots.txt merupakan file virtual yang tidak bisa diakses maupun diganti melalui direktori manapun. Jadi, ketika Anda membuka halaman public_html maka tidak ditemukan file robots.txt di sana.

Agar dapat memodifikasi rule robots.txt harus menambahkan file baru di sana. Membuat sendiri file robots.txt yang diletakkan di dalam folder public_html dan memasukkan skrip konfigurasi secara manual.

File baru yang dibuat bertugas menjadi file replacement yang nantinya akan menimpa file konfigurasi yang sudah ada.

Rule File Robots.txt di WordPress

Konfigurasi robots.txt termasuk cukup simpel dikarenakan hanya ada beberapa perintah saja yang diperlukan. Berikut ini adalah contoh dari konfigurasi file robots.txt yang dapat Anda terapkan.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Disallow: /
Atau Anda dapat menambahkan beberapa konfigurasi lain untuk mengizinkan beberapa situs pencari untuk melakukan ‘crawl’. Anda cukup menambahkan beberapa baris skrip seperti dibawah ini.
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://karsanusantara.com/sitemap.xml
Keterangan:

User-agent: bagian ini digunakan untuk mendeskripsikan rule jenis/nama robot.
Allow: untuk menambahkan bagian mana yang dapat diakses oleh robot.
Disallow: untuk mendeskripsikan bagian yang tidak boleh diakses oleh robot.

Skrip di atas merupakan contoh dari robots.txt yang digunakan untuk mengarahkan mesin pencari untuk pemindaian isi dari situs web. Anda dapat mengatur skrip tersebut sesuai dengan kebutuhan. Misalnya, jika terdapat halaman forum, maka yang perlu dilakukan adalah disallow folder forum agar tidak terbaca oleh mesin pencarian agar tidak muncul pada hasil pencarian. Bisa jadi jika tidak disallow maka seluruh thread yang ada di dalam forum tersebut akan terindeks.

Cara Setting Robot TXT di WordPress

Ada beberapa cara yang dapat Anda lakukan untuk mengaktifkan Robot TXT di WordPress. Cara yang paling simpel dan tidak memerlukan tambahan plugin adalah dengan mengunggah file robots.txt secara manual. Setidaknya akan ada tiga cara yang akan kita bahas pada artikel ini, yaitu cara setting robot txt di WordPress menggunakan All in One SEO Pack, Yoast SEO, dan yang terakhir menggunakan cara manual.

Menggunakan Plugin All in One SEO PackSetidaknya ada empat cara setting robot txt di WordPress menggunakan plugin All in One SEO Pack.

1. Instal All in One SEO Pack

Anda perlu melakukan instalasi plugin All in One SEO Pack jika belum melakukan proses instalasi. Jangan lupa mengaktifkannya setelah proses unduhan selesai.

2. Feature Manager

Setelah proses instalasi selesai, kemudian masuk ke dalam menu All in One SEO. Kemudian mengaktifkan fitur robots.txt yang ada di dalamnya.

Di dalam plugin ini juga terdapat beberapa fitur yang dapat Anda manfaatkan sekaligus, jadi tidak perlu melakukan instalasi plugin yang lainnya.

3. Klik Robots.txt

Saat robots.txt sudah aktif, Anda akan melihat pilihan menu robots.txt di panel bagian kanan. Klik menu tersebut dan Anda akan diarahkan pada menu robots.txt.

Di dalam menu ini Anda dapat menambahkan user-agent, rule, dan directory-pathyang akan dimasukkan ke dalam file.

4. Menambahkan Rule

Anda tidak perlu khawatir dalam menambahkan rule di dalam plugin, karena sewaktu-waktu dapat menghapusnya. Tinggal sesuaikan saja pengaturan yang diinginkan dan disesuaikan dengan mesin pencari.

Baca juga: 5 Cara Mempercepat Loading Blog Wordpress dengan Mudah

Menggunakan Plugin Yoast SEO

Cara setting robot txt di WordPress kedua adalah dengan menggunakan plugin Yoast SEO. Plugin ini fungsinya hampir sama dengan All in One SEO Pack. Berikut ini adalah langkah-langkah yang diperlukan untuk setting robots.txt di WordPress.

1. Instal Plugin: Langkah pertama perlu dilakukan tentu saja melakukan instalasi plugin Yoast SEO.

2. Masuk ke Halaman Tools: Setelah terinstal, navigasikan menu menuju ke “SEO -> Tools”. Pada halaman ini akan ada beberapa pilihan yang muncul, klik “File Editor”.

3. Membuat File Robots.txt: Pada halaman selanjutnya akan ada pilihan untuk “Create a New Robots.txt”. Pada halaman ini, masukkan rule yang ingin diterapkan pada situs web.

Anda dapat menyesuaikan dengan kebutuhan situs Anda masing-masing.

Mengunggah Manual File Robots.txt

Cara setting robot txt di WordPress yang terakhir adalah dengan mengunggahnya secara manual menggunakan FTP atau melakukan akses ke panel hosting.

1. Membuat File Robots.txt

Anda dapat membuat terlebih dahulu file robots.txt menggunakan aplikasi note di perangkat desktop. Pada contoh ini kami menggunakan Atom.

Masukkan rule ke dalam file dan klik “Save”.

2. Mengunggah File Robots.txt ke Server Hosting

Anda dapat mengunggah file robots.txt menggunakan beberapa cara, salah satu cara yang bisa dilakukan adalah dengan menggunakan FTP. Selain itu juga dapat mengunggahnya melalui panel admin layanan hosting.

Submit ke Google Search Console

Anda dapat memastikan jika file robots.txt yang sudah dibuat memang benar dan memastikan tidak ada error yang muncul. Pengecekan dapat dilakukan dengan menggunakan Google Search Console.

Kesimpulan

Robots.txt dapat mempermudah Google untuk menentukan halaman mana saja yang boleh dan dapat untuk di ‘crawl’. Selain itu robots.txt juga memberikan arahan atau petunjuk jalan agar Google melakukan ‘crawl’ pada file atau folder tertentu.

Cara setting robot txt di WordPress juga tidak terlalu rumit. Caranya pun juga bermacam-macam sehingga bisa dipilih sesuai dengan pemahaman masing-masing orang. Cara yang paling sederhana adalah dengan menggunakan plugin. Saat menggunakan plugin pengguna tidak perlu mengetikkan kode program atau ‘rule’ robots.txt secara manual.

Sederhananya, mesin pencari akan melakukan perayapan atau dalam bahasa blogger sering disebut crawling situs Anda meskipun tidak ada file robots.txt yang disetting. Hanya saja, sangatlah tidak efisien jika Anda tidak mengaktifkan file ini. Tanpa file ini, Anda membiarkan bot mengindex semua konten dan alhasil, bagian-bagian yang ingin disembunyikan malah ditampilkan di mesin pencari.
Tambahan lagi, tanpa adanya file robots.txt, Anda membiarkan website di-crowl banyak bot. Tentu saja hal ini akan memberikan dampak negatif terhadap performa situs. Meskipun kedengarannya sepele, Anda tetap tidak bisa menutup mata terhadap faktor page speed. Kecepatan loading situs atau halaman haruslah menjadi faktor utama.
Terima kasih sudah menyimak tutorial Cara Mudah Setting Robot TXT di Wordpress yang Benar dan SEO Friendly, semoga dapat memberikan gambaran kepada Anda mengenai penggunaan dan cara setting robot txt di WordPress.

Salam sukses.

Sumber:
Niagahoster

0 Response to "Cara Mudah Setting Robot TXT di Wordpress yang Benar dan SEO Friendly"

Posting Komentar

Hanya sebagian kecil komentar yang disetujui. Jangan membuang waktu Anda jika hanya untuk melakukan "spam" di Forum Blogger Indonesia ini. So, komentar yang Anda tuliskan menunjukkan tingkat kualitas diri Anda.

Salam blogger

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel