Beberapa waktu yang lalu Google mengirimkan peringatan kepada beberapa pemilik situs untuk memberi tahu bahwa pengaturan file robots.txt yang salah akan mempengaruhi peringkat mesin pencari Google.
Email yang dikirimkan tersebut menginformasikan kepada webmaster jika file robots.txt mereka memblokir crawler/perayap Google untuk mengakses CSS dan JS sumber daya situs.
File robots.txt tidak selalu digunakan, tetapi ketika digunakan untuk root sebuah website, itu akan memberitahu crawler pencarian Google (sering disebut Googlebot) file apa yang bisa dirayapi dan diindeks.
Pada umumnya file robots.txt terlihat seperti ini:
code
User-agent: *
Disallow:/file_or_folder_name
Allow: /file_or_folder_name
"User-agent" memungkinkan webmaster untuk menempatkan aturan khusus hanya untuk pencarian tertentu, dimana bukan hanya untuk crawler Google, tetapi dalam banyak kasus simbol "*" digunakan untuk menargetkan semua bot pencarian sekaligus.
Dua deklarasi berikutnya, "Disallow" dan "Allow" memberitahu crawler pencarian yang ditentukan "User-agent" pilihan apa yang bisa dirayapi, dan apa yang tidak bisa dirayapi.
Karena, secara default, mesin pencari akan merayapi semua file, oleh karena itu webmaster menempatkan file robots.txt untuk mengendalikan apa-apa yang dapat diindeks dan apa yang tidak.
File robots.txt sangat penting untuk webmaster karena memungkinkan mereka memblokir akses ke folder di mana informasi sensitif, kode atau gambar pribadi berada.
Seiring Google yang semakin cerdas, konfigurasi robots.txt tua menghalangi operasi pengindeksan konten, dalam beberapa kasus termasuk CSS dan JavaScript, yang belakangan menjadi sumber daya yang lebih penting untuk Google.
Karena dalam beberapa tahun terakhir Google telah melakukan perubahan bagaimana berurusan dengan website interaktif, JS-berat, website AJAX, dan sekarang mampu merendering website sesempurna pengguna melihatnya, dan memblokir akses ke CSS dan JS dapat menyebabkan masalah untuk operasi Google secara normal.
Webmaster yang telah menerima email peringatan harus berhati-hati dalam mengikuti langkah-langkah yang diberikan oleh Google untuk membebaskan Googlebot mengakses file CSS dan JS, jika tidak ingin mendapatkan pukulan besar pada peringkat mesin pencari Google.
Jika domain Anda tidak ditambahkan ke akun Google Webmaster dan Google tidak dapat menghubungi Anda melalui akun Gmail, maka Anda dapat menguji website menggunakan Ambil sebagai Google dan robots.txt Tester, serta menambahkan kode berikut ke file robots.txt:
Disallow:/file_or_folder_name
Allow: /file_or_folder_name
"User-agent" memungkinkan webmaster untuk menempatkan aturan khusus hanya untuk pencarian tertentu, dimana bukan hanya untuk crawler Google, tetapi dalam banyak kasus simbol "*" digunakan untuk menargetkan semua bot pencarian sekaligus.
Dua deklarasi berikutnya, "Disallow" dan "Allow" memberitahu crawler pencarian yang ditentukan "User-agent" pilihan apa yang bisa dirayapi, dan apa yang tidak bisa dirayapi.
Karena, secara default, mesin pencari akan merayapi semua file, oleh karena itu webmaster menempatkan file robots.txt untuk mengendalikan apa-apa yang dapat diindeks dan apa yang tidak.
File robots.txt sangat penting untuk webmaster karena memungkinkan mereka memblokir akses ke folder di mana informasi sensitif, kode atau gambar pribadi berada.
Seiring Google yang semakin cerdas, konfigurasi robots.txt tua menghalangi operasi pengindeksan konten, dalam beberapa kasus termasuk CSS dan JavaScript, yang belakangan menjadi sumber daya yang lebih penting untuk Google.
Karena dalam beberapa tahun terakhir Google telah melakukan perubahan bagaimana berurusan dengan website interaktif, JS-berat, website AJAX, dan sekarang mampu merendering website sesempurna pengguna melihatnya, dan memblokir akses ke CSS dan JS dapat menyebabkan masalah untuk operasi Google secara normal.
Webmaster yang telah menerima email peringatan harus berhati-hati dalam mengikuti langkah-langkah yang diberikan oleh Google untuk membebaskan Googlebot mengakses file CSS dan JS, jika tidak ingin mendapatkan pukulan besar pada peringkat mesin pencari Google.
Jika domain Anda tidak ditambahkan ke akun Google Webmaster dan Google tidak dapat menghubungi Anda melalui akun Gmail, maka Anda dapat menguji website menggunakan Ambil sebagai Google dan robots.txt Tester, serta menambahkan kode berikut ke file robots.txt:
code
User-Agent: Googlebot
Allow: .css
Allow: .js
Allow: .css
Allow: .js
0 Response to "Salah Mengkonfigurasi Robots.txt Berdampak Pada Ranking Google Search"
Posting Komentar