Hubungan SEO dengan Crawl Budget dan Crawl Rate

Mungkin Anda pernah mendengar tentang istilah crawl budget dan dunia SEO atau optimasi website untuk organic trafik.

Apa itu crawl budget? crawl budget adalah efisiensi atau mempermudah robot Google merayapi situs Anda. Pertanyaannya adalah pentingkah crawl budget untuk website kecil?

Nah disinilah kesalahfahaman beberapa pakar SEO yang menyatakan crawl budget hanya untuk situs web yang memiliki updated besar dalam sehari, lets say katakanlah seperti ecommerce yang ribuan hingga jutaan post produk baru dalam sehari.

Memang kenyataannya, resiko crawl budget buruk dan effort dibutuhkan tinggi ada di website besar, tapi bukan berarti website kecil bisa mengabaikannya begitu saja. Karena untuk mempermudah & efisiensi robot google berlaku untuk semua situs.

Kenapa Crawl budget Penting?

Crawl budget tidak mengenal apakah website Anda besar (ecommerce) atau kecil karena kegunaan crawl budget ini adalah mempermudah robot perayap Google (Google crawl bot) menelusuri, memetakan dan mengenal detail struktur website Anda.

Apa yang boleh dirayapi, di index / noindex. Begitu juga pengaturan parameter string urlfilter (url sama hanya ada tanda tanya ? setelahnya, biasanya filter pencarian dll).

Semakin rapih Anda menerapkan filter parameter, canonical, mana yang diindex mana yang tidak, membersihkan duplikat konten, dupikat url, duplikat meta tag maka secara garis besar Anda sudah menerapkan “crawl budget” dengan benar.

Crawl Rate Google Bot

Crawl budget erat hubungannya dengan crawl rate, semakin baik crawl budget Anda maka makin tinggi crawl rate website.

Namun, crawl rate bukan semata karena faktor crawl budget bagus, tapi faktor yang paling penting adalah updated konten dalam website, internal link dan update dari blog tempat backlink dofollow website Anda adalah faktor utamanya dan ini biasanya diimplementasikan melalui file sitemap.xml sebagai sinyal untuk Google.

Backlink tanpa rel=”nofollow” atau dofollow juga menentukan crawl rate karena robots google akan mengikuti link tersebut hingga merayapi website. Jadi inilah hubungan kuat antara backlink dan SEO.

Penempatan backlink di posisi halaman yang sering ada update (kategori, hompage) atau internal link ke halaman yang ada backlink Anda sangat penting dalam meningkatkan crawl rate (tapi dofollow).

Itulah kenapa backlink komentar dofollow kadang masih powerful karena sering update dari komentar lain. Begitu juga dari forum-forum yang aktif dan ramai balasan threadnya.

Salah faham Ecommerce Tentang ini

Masih ada beberapa ecommerce yang sedikit salah faham tentang ini, demi crawl budget bagus bahkan melakukan noindex untuk produk dari USER (User Generate Content) dan bahkan meniadakan file sitemap.xml.

Alhasil meskipun crawl budget bagus tapi crawl ratenya akan jatuh, drop dan ini tidak bagus untuk SEO.

Fakta menyatakan bahwa semakin tinggi crawl rate website maka efek SEO atau ranking di halaman Google akan sangat tinggi (bagus).

Jika sitemap.xml ditiadakan otomatis sinyal updated di website tersebut sangat rendah apalagi di noindex in.

Selain itu, tidak sedikit penjual di marketplace memilki official website sendiri dan pasang banner, logo marketplace tersebut dengan link ke halama tokonya serta dofollow pula. Atau ada juga yang sengaja mengoptimasinya juga.

Crawl Budget VS Crawl Rate

Meskipun crawl budget bagus tapi Anda juga harus memperhatikan efek crawl rate. Yang dibutuhkan itu adalah problem solving bukan menghindari problem.

Katakanlah website ecommerce Anda banyak yang bulk upload dan copy paste konten. Dicari solusinya bukan malah di noindex atau di tiadakan file sitemap.xml nya.

Solusinya bisa diantaranya:

  1. URL, jadikan url produk dari user terdiri hanya dari beberapa karakter saja, misal 4 kata saja dari judul, lalu sisanya berdasarkan generated kode yang panjang. Misal judulnya Jual Sepatu Adidas Murah untuk wanita tipe xxx. Urlnya menjadi /jual-sepatu-adidas-murah-saddHJAS778SA$jcGdKR.
  2. Kategori juga mungkin bisa bermasalah untuk url produk, ada baiknya urlnya berdasarkan user bukan kategori. Misal example.com/username/langsung-url-produknya-disini.
  3. Title tag, Title yang tampil di browser dan agar titak duplikat bisa diseting truncated dan berdasarkan parameter ID unik serta sebanyak mungkin. Bisa dari nama tokonya, usernya, IDnya, session ID, jam , tanggal dan waktunya dst.
  4. Meta description, Sama halnya dengan title tag. Buat truncated dan tarik data seunik dan sebanyak mungkin.
  5. H1 heading tag, H1 pun bisa diterapkan dengan menerapakan seperti title dan meta description diatas.
  6. Konten, Untuk konten memang sedikit agak susah. Solusinya adalah buat paragraf pertama otomatis dari meta description yang sudah diseting sebelumnya. Untuk feedback pun jangan ditampilkan sama persis untuk satu user, tapi tampilkan saja per produk. Jika tidak ada feedback atau komentar di produk itu, tampilkan apa adanya saja.
  7. Usahakan hindari banyak script dalam file html (landing page) dibagian header, karena script cukup mengganggu robot perayap. Kalau untuk CSS tidak begitu bermasalah.
  8. Harus diadakan file sitemap.xml khusus untuk produk updated. Kalau untuk masalah performa server host sudah pasti tidak akan masalah, lah wong ecommerce masa server hosting biasa.
  9. Optional, gambar / image. Gambar sangat riskan terkena copyright isu dan sebaiknya ada centang bahwa user bertanggung jawab untuk gambar yang diupload.

Jadi, meskipun crawl budget penting tapi lebih penting lagi crawl rate. Blog atau website kecil memimpikan crawl ratenya tinggi dan ada updated setiap hari. Sementara ecommerce terutama marketplace base on user generate yang tinggi updatednya tapi ketakukan dengan crawl budget.

Cari solusi, bukan menghindari!