24 Oktober 2016

Mengatur Perayap Dan Pengindeksan Blog Di Blogger

Mengatur perayap dan pengindeksan blog di Blogger adalah salah satu pengatur setelan yang membingungkan banyak blogger terutama bagi mereka yang baru memulai.

Gambar Mengatur Perayap Dan Pengindeksan Blog Di Blogger - Entriwan

Blogger memberikan dua pilihan yaitu mengatur perayap dan pengindeksan dengan robots.txt khusus dan/atau Tag tajuk robot khusus.

Contoh robots.txt adalah seperti di bawah ini

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://entriwan.blogspot.com/sitemap.xml

Sedangkan dengan Tag tajuk robot khusus maka bisa mengatur perayap dan pengindeksan terhadap laman:
  • Beranda (setelan untuk blog ini adalah mencentang kotak noarchive, noodp, dan notranslate)
  • Arsip dan Penelusuran (setelan untuk blog ini adalah mencentang kotak noindex, noarchive, noodp, dan notranslate)
  • Pos dan Laman (setelan untuk blog ini adalah mencentang kotak noodp, dan notranslate)

Berikut ini adalah tabel spesifikasi tag meta robot dan header HTTP X-Robots-Tag (sumber developers.google.com), yaitu:

PerintahArti
allTidak ada batasan untuk pengindeksan atau penyajian. Catatan: perintah ini adalah nilai default dan tidak berpengaruh jika dicantumkan secara eksplisit.
noindexJangan tampilkan laman ini dalam hasil penelusuran dan jangan tampilkan tautan "dalam cache" di hasil penelusuran.
nofollowJangan ikuti tautan di laman ini
noneSetara dengan noindex, nofollow
noarchiveJangan tampilkan tautan "dalam cache" di hasil penelusuran.
nosnippetJangan tampilkan cuplikan dalam hasil penelusuran untuk laman ini
noodpJangan gunakan metadata dari proyek Direktori Terbuka untuk judul atau cuplikan yang ditampilkan pada laman ini.
notranslateJangan menawarkan terjemahan dari laman ini dalam hasil penelusuran.
noimageindexJangan lakukan pengindeksan gambar di laman ini.
unavailable_after: [RFC-850 date/time]Jangan tampilkan laman ini dalam hasil penelusuran setelah tanggal/waktu yang telah ditentukan. Tanggal/waktu harus ditentukan dalam format RFC 850.

Semoga bermanfaat!

Tidak ada komentar:

Posting Komentar