Mengatasi URL Yang Dikirimkan Memiliki Masalah Crawling

Rumahit.ID - Salah satu permasalahan yang sering muncul di Google Seacrh Console adalah pada index cakupan dengan jenis error "URL yang dikirimkan memiliki masalah crawling" . Secara umum GSC memiliki 4 jenis status yaitu Kesalahan (error), Valid dengan peringatan (warning), Valid dan Dikecualikan (exluded). Untuk jenis status kesalahan harus segera diperbaiki dan divalidasi halaman yang bermasalah agar tidak mempengaruhi item hasil penelusuran google.

Banyak teman-teman blogger yang mengeluhkan masalah URL yang dikirimkan memiliki masalah crawling di beberapa postingannya. Padahal jika dilakukan pengujian struktur secara manual, URL tersebut tidak memiliki kesalahan atau peringatan. Disini saya akan berbagi pengalaman bagaimana caranya mengatasi URL yang memiliki masalah crawling tersebut. Ini adalah hasil dari eksperimen saya sendiri. Dan hasilnya cakupan index URL saya semuanya berhasil valid.

URL yang dikirimkan memiliki masalah crawling

Sebelum kita memperbaiki masalah error crawling seperti kasus diatas, kita harus mengetahui terlebih dahulu penyebab URL yang dikirimkan memiliki masalah crawling seperti yang saya jabarkan berikut :

Penyebab URL memiliki masalah crawling

1. Mengganti Tanggal Postingan

Dalam perayapan halaman, googlebot menggunakan tanggal sebagai history perayapan. Jika kamu pernah melakukan inspeksi URL pada google console, maka akan ada keterangan tanggal crawl terakhir. Jika kamu mengubah tanggal postingan di blog, maka saat crawl berikutnya, tanggal halaman tidak sesuai dengan tanggal riwayat terakhir perayapan googlebot. Sehingga saat pengambilan halaman, googlebot menandainya sebagai Gagal : Anomali crawling .

2. Mengubah setelan blog dari HTTP menjadi HTTPS atau sebaliknya.

Peta Situs dan Halaman Perujuk Berbeda (HTTP dan HTTPS)

Dalam perayapan halaman, Googlebot menggunakan dua parameter penemuan yaitu Peta Situs (Sitemap) dan Halaman Perujuk (referring page). Jika halaman kamu sudah banyak yang terindex oleh google kemudian kamu mencoba mengubah setelan blog dari HTTP menjadi HTTPS atau sebaliknya, maka besar kemungkinan beberapa halaman di blog kamu memiliki masalah crawling saat perayapan berikutnya. Ini dikarenakan sitemap dan halaman perujuk berbeda dengan versi pada perayapan sebelumnya. Pastikan saat kamu mengubah setelan blog dari http menjadi https, ganti juga peta situs kamu menjadi http atau https. Setelah itu coba minta pengindeksan di halaman google console.

3. Mengganti domain bawaan blogspot menjadi TLD

Mengganti domain bawaan blogspot menjadi TLD seperti com, net, org, id setelah halaman banyak yang sudah terindex adalah keputusan yang kurang tepat. Hal ini dapat menyebabkan halaman yang dikirimkan memiliki masalah crawling pada cakupan index google seacrh console. Selain itu mesin pencari menganggapnya sebagai duplikat konten meskipun itu adalah artikel milik kamu. Maka dari itu penggantian domain TLD sebaiknya dilakukan saat artikel blog masih sedikit untuk menghindari masalah crawling.

Cara Mengatasi URL Yang Dikirimkan Memiliki Masalah Crawling

1. Membuat postingan baru dengan URL baru

Cara ini adalah cara yang paling mudah dan berhasil saya praktekkan. Untuk percobaan carilah satu postingan yang mempunyai error URL yang dikirimkan memiliki masalah crawling. Misalnya URL yang error adalah :

https://www.kucingku.com/cara-menjinakan-kucing.html

Selanjutnya buat postingan baru, namun untuk judul dan isinya bisa disamakan dengan URL yang error diatas. Ingat judul dan isinya saja yang sama sedangkan untuk URL nya buat baru, misalnya :

https://www.kucingku.com/agar-kucing-menjadi-jinak.html

Setelah postingan di publikasikan, hapus postingan yang URL nya mengalami masalah crawling. Atau jika tidak ingin dihapus, kamu bisa menyimpannya menjadi draft.

Sekarang kamu mempunyai artikel baru dengan judul dan isi yang sama persis dengan artikel sebelumnya. Namun URL nya sekarang baru. Tunggu beberapa hari sampai artikel tersebut terindex google. Untuk mempercepat proses pengindeksan kamu bisa menggunakan inspeksi URL pada google search console kemudian minta pengindeksan.

Setelah URL yang baru berhasil terindex, silahkan lakukan validasi terhadap URL yang lama supaya pesan error nya hilang. Proses validasi mungkin membutuhkan beberapa hari. Kamu akan diberitahu via email setelah proses validasi selesai.

2. Minta pengindeksan secara rutin

Jika kamu tidak menginginkan cara nomor 1 , maka kamu bisa menggunakan cara yang kedua. Cara ini membutuhkan kesabaran karena prosesnya lumayan lama dan bertahap. Cara mengatasi URL yang memiliki masalah crawling berikutnya adalah dengan melakukan permintaan pengindeksan secara rutin dan terus menerus. Kamu bisa melakukan permintaan pengindeksan setiap dua hari sekali.

Dari cara diatas, artikel saya yang tadinya mengalami kesalahan crawling sebanyak 60 URL sekarang perlahan lahan turun dari 60, 50, 40, 30, 20, 10, 5 dan sekarang pesan error crawling nya sudah hilang. Proses tersebut membutuhkan waktu sekitar 3 bulan dengan catatan rutin melakukan permintaan pengindeksan melalui google search console setidaknya 2 hari sekali. Mungkin bisa lebih lama atau lebih cepat tergantung jumlah URL yang mengalami masalah crawling.

Caranya sangat mudah, yaitu :

• Buka Google Search Console
• Catat semua URL yang mengalami masalah crawling , bisa menggunakan notepad.
• Lakukan inspeksi URL dengan memasukan URL pada kotak pemeriksaan URL.
• Setelah hasil inspeksi muncul, lakukan UJI URL AKTIF (tombol kanan atas)
• Setelah pengujian selesai, pastikan hasilnya URL tersedia untuk google yang ditandai dengan ceklis warna hijau. Jika masih ada tanda silang warna merah, perbaiki terlebih dahulu struktur data postingan kamu sesuai schema.org.
• Terakhir klik tombol MINTA PENGINDEKSAN.
• Ulangi cara diatas untuk URL yang lain sampai selesai.

3. Perbaiki Parameter Perayapan

Parameter yang digunakan oleh google untuk melakukan perayapan terhadap suatu halaman web ada 2 macam yaitu cakupan dan penyempurnaan.

A. Cakupan

Penemuan

Penemuan terdiri dari Peta Situs dan Halaman Perujuk. Gunakan peta situs sesuai dengan domain dan protokol yang kamu gunakan. Jika kamu menggunakan domain pihak ketiga dan settingan https, maka peta situs harus diawali dengan https://www.domain.com/sitemap.xml

Halaman Perujuk adalah halaman yang digunakan untuk rujukan perayapan, bisa halaman itu sendiri atau intenal link atau keyword yang menuju ke url lain dalam satu domain. Jika kamu menggunakan domain pihak ketiga dan settingan https, maka pastikan semua link internal, backlink juga harus menggunakan awalan https.

Perayapan

Perayapan mencakup tanggal perayapan, izin perayapan dan izin pengindeksan. Agar sebuah halaman dapat diindex oleh mesin pencari, pada setelan privasi blogger anda harus mengizinkan mesin pencari untuk menemukan blog anda.

Penyusunan index

Dalam melakukan perayapan, googlebot memanfaatkan URL kanonis yang terdiri dari kanonis yang dinyatakan pengguna dan kanonis yang dinyatakan google. Untuk kanonis yang dinyatakan pengguna adalah tag kanonis yang terdapat pada template blog. Pastikan kamu telah memasang tag kanonis yang terletak sebelum kode </head> di template blogger kamu.

<link rel="canonical" href="http://example.com/">

B. Penyempurnaan

Penyempurnaan pada halaman web berkaitan dengan struktur data URL yang berpedoman pada Schema.org .Umumnya sebuah halaman blog mempunyai penyempurnaan seperti Breadcrumb, Kebergunaan Seluler, Cuplikan Ulasan dan lain-lain. Untuk mendapatkan penyempurnaan kamu harus mengaturnya pada template blogger kamu. Macam-macam jenis penyempurnaan secara lengkap silahkan kunjungi galeri struktur data google.