Cara Google Mengindeks Website melalui BOT

Ada baiknya Anda semua memahami program yang digunakan Google untuk melakukan spider dan crawl terhadap sebuah situs, program tersebut umumnya dikenal dengan BOT, yaitu program yang melakukan crawl sebuah situs atau halaman situs secara rutin atau sering, tergantung popularitas sebuah situs.
Bot Google terbagi di bagi menjadi 3:

1. Adsense bot
2. FreshBot
3. DeepCrawl Bot

Bot Adsense, dari namanya kita sudah mendapat gambaran bahwa bot ini mempunyai kaitan dengan Adsense, ia di tugaskan untuk mempelajari dan akhirnya mengidentifikasi halaman dari situs publisher Adsense melalui pesan dari Kode Javascript yang terintegrasi di dalam kode Adsense yang kita letakkan di template, tujuannya agar iklan Adsense yang tampil relevant dengan niche dan konten blog si publisher.
Freshbot, adalah bot yang paling aktif di antara bot yang lain, ia secara rutin mengunjungi sebuah blog untuk meng-crawl halaman dan halaman yang paling popular. Berapapun jumlah halaman blog tersebut. Namun besaran frekuensi kunjungan Freshbot tidak terlepas dari faktor popularitas sebuah blog/website, tentu saja semakin popular sebuah web maka semakin sering freshbot bertandang. Situs berita seperti BBC, CNN atau situs Marketplace Online seperti Ebay.com, Amazon.com di crawl dalam hitungan menit (biasanya 10 menit sekali) setiap harinya.
Setiap web yang sudah cukup lama online, umumnya mempunyai apa yang disebut dengan Deeper Links. Kegunaannya adalah saat Freshbot menemukan web tersebut saat berkunjung, ia akan memberi perintah deeper link dalam database daftar antri (Queue) Google untuk website tersebut, dan membiarkan DeepCrawl beraksi nantinya.
DeepCrawl bot. Bot ini diatur untuk melakukan crawl kemungkinan tiap satu bulan sekali. Sebelum ia beraksi, ia terlebih dahulu mengecek semua deeper link yang telah antri(Queue) dalam database, lalu ia menggunakannya sebagai referensi saat meng-crawl sebuah web. Di karenakan, ia diprogram untuk melakukan kunjungan tiap satu bulan sekali, maka diperlukan waktu satu bulan agar seluruh konten blog kita terindeks. Update Pagerank sebuah web erat kaitannya dengan kedatangan Deepcrawlbot. ( 2010-admin-jasa website : saya belum bisa memastikan sekarang apakah masih tetap 1 bulan seperti tahun-tahun sebelumnya atau 3 bulan sekali bersamaan dengan update pagerank Google sekarang ini)
Bagaimana mengenali/mengetahui kedatangan freshbot dan deepcrawl bot:
Untuk mengenalinya tentu saja melalui IP Address, biasanya IP address freshbot dimulai dengan 64, dan Deepcrawlbot dimulai dengan 216. Dan keseluruhan bentuk ipnya seperti ini:
Freshbot IP:

• 64.208.32.4.
• 64.68.82.0-255
• 64.68.82.47

Deepcrawlbot IP:

• 216.239.45.4
• 216.239.46.0-255
  
• 216.239.46.53
  

Jadi saat anda melihat ip address di awali dengan 216 berulang kali muncul di statistik web anda. Itulah yang dinamakan Google Dance (Google “berdansa”), untuk mengkalkulasi ulang PR, Backlinks dan ranking kemunculan blog anda di SERP, yang hasil dari semua kalkulasi tersebut adalah UPDATE PAGERANK!