You are here: Home » Uncategorized » Cara Mengatur Robots

Cara Mengatur Robots

Cara Mengatur Robots – Untuk seseorang yang aktif pada dunia blogging pasti sudah tidak asing jika mendengar Robots.txt.

Penjelasan dan Cara Mengatur Robots.txt

Penjelasan dan Cara Mengatur Robots.txt

File yang satu ini sudah banyak dibahas dalam pedoman google WebMaster, hal ini menunjukan betapa pentingnya bagian ini. untuk mengenal file Robots.txt lebih jauh berikut ini adalah penjelasannya :

Pengertian serta Fungsi Robots.txt

Sebenarnya fungsu utama File robots.txt ini adalah untuk memberikan intruksi tertentu kepada mesin pencari ketika seseorang mencoba menjelajahi sebuah website.

Contohnya, Ketika mesin pencari seperti google ingin menjelajahi website seseorang, maka file yang pertama kali dijelajahi adalah file robots.txt.  Dengan mengunjungi robots.txt ini, mesin pencari jadi mengetahui apa yang harus dilakukan. Dengan kata lain mereka mengetahui bagaimana seharusnya menjelahi website tersebut, menjelajah secara keseluruhan, sebagian atau tidak sama sekali.

Sayangnya seorang blogger pemula jarang sekali mengetahui betapa pentingnya file ini, sebab file ini  bisa berpengaruh kepada SEO pada website tersebut.

Baca Juga : Perbedaan Utang Usaha Dengan Utang Wasel

Cara Mengatur Robots.txt

Setelah mengetahui penjelasan singkat mengenai pengertian dan fungsi Robots.txt biasanya akan timbul sebuah pertanyaan

Bagaimana cara mengatur Robots.txt?”

Jawaban dari pertanyaan diatas tergantung pada kepentingan pemilik website. Kebanyakan orang pasti ingin mesin pencari mengunjungi semua file yang terdapat di websitenya.

Jadi, jika seseorang ingin mesin pencari ingin mengunjungi seluruh bagian dari websitenya, maka bisa menggunakan salah satu dari 3 cara dibawah ini:

  1. Tidak memiliki file robots.txt sama sekali

Jika website seseorang tidak memiliki file robots.txt sama sekali, maka mesin pencari akan meng-crawler atau menjelajahi seluruh bagian dari website anda tanpa adanya batasan khusus.

  1. Membuat file kosong yang diberi nama dengan robots.txt

Cara yang kedua ini hampir sama dengan kasus pertama, jika robot mesin pencari mengcrawler website seseorang, maka mereka akan mengcrawler seluruh bagian dari website anda tanpa batas.

  1. Membuat file robots.txt

Untuk memerintahkan mesin pencari hanya mengindeks folder-folder yang diizinkan maka penjelasannya adalah sebagai berikut :

            User-agent: *
Disallow:

Pada perintah diatas terdapat kode “User-agent:”

User-agent” , merupakan bagian yang digunakan untuk menentukan apa yang dilakukan robot mesin pencari di website tersebut. terdapat 2 cara menggunakan bagian ini, yakni Jika seseorang ingin menginformasikan semua halaman kepada robot, maka bisa menambahkan simbol “*” setelah kata “User-agent”. Contohnya bisa dilihat pada kode dibawah ini :

            User-agent:*

Kode ini mengintruksikan kepada robot mesin pencari untuk menjelajahi seluruh bagian dari website anda. Jika ingin lebih spesifik anda bisa menambahkan nama robot dari mesin pencari seperti :

            User-agent: Googlebot
Disallow

Kode Dissalow digunakan ketika seseorang ingin menghalangi atau tidak memberikan izin kepada robot mesin pencari untuk mengcrawler bagian tertentu dari website tersebut.

Misalnya jika pemilik website ingin menghalangi robot mesin pencari untuk menjelajahi dan mengindeks gambar pada websitenya, maka langkah pertama yang harus dilakukan pemilik website adalah menempatkan gambar disalah satu folder dan menghalangi mesin pencari untuk menjelajahinya.

Misalnya si A meletakan gambar anda di folder yang anda beri nama “Image”, selanjutnya si A bisa memberikan perintah mesin pencari untuk tidak mengindeks folder tersebut.

Berikut ini adalah contoh kode yang bisa anda buat :

            User-agent: *
Disallow: /Image

Kode diatas menunjukan bahwa pemilik tidak memperbolehkan robot mesin pencari untuk mengindeks file yang diberi nama “Image”. Akan tetapi jika pemilik ingin memberikan akses kepada mesin pencari untuk mengindeks salah satu file yang spesifik dapat menggunakan beberapa kode lain. Contohnya adalah sebagai berikut:

Allow

Mengacu pada contoh sebelumnya, kita sudah  berhasil membuat kode yang memberi perintah agar mesin pencari tidak mengindeksnya. Kode “Allow” berarti memungkinkan mesin pencari untuk menjelajahi dan mengindeks folder atau isi folder yang sebelumnya sudah kita kecualikan untuk tidak di indeks.

User-agent: *
Disallow: /Image
Allow: /Image/logo-web.png

Kode diatas akan memberitahukan kepada mesin pencari untuk mengunjungi “logo-web.png”, meskipun sebelumnya folder Imahe sudah dikecualikan untuk tidak di indeks.

Baca Juga : Peranan AMP Pada Blog

Leave a Reply

Your email address will not be published. Required fields are marked *