Menambahkan robots.txt untuk Blogger
Dalam salah satu posting saya sebelumnya saya telah membahas tentang Kustom Robot Header Tag untuk blogger. Jika Anda telah membaca posting itu maka saya harap kalian menyadari dengan pentingnya dalam peringkat pencarian. Hari ini, saya datang dengan istilah sadar sangat berguna dan harus blogging yang Robots.txt. Di blogger itu dikenal sebagai Kustom Robots.txt itu berarti sekarang Anda dapat menyesuaikan file ini sesuai dengan pilihan Anda. Dalam tutorial hari ini kita akan membahas tentang istilah ini dalam-dalam dan datang untuk tahu tentang penggunaan dan manfaat. Saya juga akan memberitahu Anda bagaimana untuk menambahkan file kustom robots.txt di blogger. Jadi mari kita mulai tutorial.txt di Blogger.
Apa itu Robots.txt?
Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. Hal ini disimpan di website atau server blog yang menginstruksikan web crawler untuk bagaimana indeks dan merangkak blog Anda dalam hasil pencarian. Itu berarti Anda dapat membatasi setiap halaman web di blog Anda dari web crawler sehingga tidak bisa terindeks di search engine seperti halaman label blog Anda, halaman demo Anda atau halaman lain yang tidak penting untuk mendapatkan diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merangkak setiap halaman web.
Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini dibagi menjadi tiga bagian. Mari studi pertama masing-masing setelah itu kita akan belajar bagaimana menambahkan file kustom robots.txt di blog blogspot.
- User-agent: Mediapartners-Google
User-agent: *
Ini adalah untuk semua robot yang ditandai dengan tanda bintang (*). Dalam pengaturan default blog kita label link dibatasi untuk diindeks oleh crawler pencarian yang berarti web crawler tidak akan mengindeks kami link halaman label karena kode di bawah ini.
Disallow: /searchItu berarti link yang memiliki kata kunci pencarian setelah nama domain akan diabaikan. Lihat di bawah contoh yang merupakan link dari halaman label bernama SEO.
http://vendi.official.web.id/search/label/Tips BlogDan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua halaman konten dan web.
Berikut Izinkan: / mengacu pada Homepage yang berarti web crawler dapat merangkak dan homepage indeks blog kita.
Larang khusus PosSekarang kira jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan di bawah garis dalam kode.
Disallow: /yyyy/mm/post-url.htmlBerikut tttt dan mm mengacu pada tahun penerbitan dan bulan pos masing-masing. Sebagai contoh jika kita telah menerbitkan sebuah posting pada tahun 2013 di bulan Maret maka kita harus menggunakan format yang di bawah.
Disallow: /2015/05/post-url.htmlUntuk membuat tugas ini mudah, Anda cukup menyalin URL pos dan menghapus nama blog dari awal.
Larang khusus HalamanJika kita perlu untuk melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog dari itu yang akan sesuatu terlihat seperti ini:
Disallow: /p/page-url.html
- Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Catatan: Jika Postingan anda di blog belum mencapai 500 gunakan sitemap dibawah ini.
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500Jika Anda memiliki lebih dari 500 posting diterbitkan dalam blog Anda, maka Anda dapat menggunakan dua Sitemaps seperti di bawah ini:
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Menambahkan robots.txt untuk Blogger
Sekarang bagian utama dari tutorial ini adalah cara menambahkan robots.txt di blogger. Jadi di bawah ini adalah langkah-langkah untuk menambahkannya.
- Pergi ke blog blogger Anda.
- Arahkan ke Settings >> Preferensi Pencarian >> Crawler dan pengindeksan >> Custom robots.txt >> Edit >> Ya
- Sekarang paste kode file robots.txt Anda dalam kotak.
- Klik tombol Save Changes.
- Kamu selesai!
Bagaimana Cek Robots.txt ?
Anda dapat memeriksa file ini di blog Anda dengan menambahkan robots.txt akhirnya ke URL blog Anda di browser. Lihatlah contoh di bawah ini untuk contoh.
http://vendi.official.web.id/robots.txtSetelah Anda mengunjungi URL file robots.txt Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt kustom Anda. Lihat gambar di bawah ini.
0 komentar:
Post a Comment