GoogleBot หรือตัวโปรแกรม Spider ของ Google มีหน้าที่ในการวิ่งหรือไต่ (Crawling) ไปตามลิงก์ที่ระโยงระยางจากเว็บหนึ่งไปสู่อีกเว็บ เพื่อเก็บข้อมูลตามเว็บเพจต่างๆ บนอินเทอร์เน็ต แล้วนำเข้ามาเก็บไว้ยังฐานข้อมูล Indexer ของ Google จากนั้นก็จะต้องมีการเปรียบเทียบองค์ประกอบของโครงสร้าง และเนื้อหาหรือคีย์เวิร์ดในแต่ละเว็บเพจ เพื่อการจัดเรียงคำสำคัญๆ ในเว็บเพจนั้น เพื่อเตรียมพร้อมให้บริการการค้นหาให้กับคุณบนเว็บ Google Searchอย่างรวดเร็ว และสอดคล้องกับการค้นหาของผู้ใช้ Google มากที่สุดเท่าที่มันจะทำได้ และเนื่องจากเว็บต่างๆ มีทั้งอัปเดทบ่อย และไม่อัปเดทกันเลยจึงทำให้ GoogleBot มี 2 ประเภท:
Google DeepBot
GoogleBot เวอร์ชัน DeepBotนี้จะเหมือนผงซักฟอกสำหรับคราบฝังลึก พูดอีกอย่างให้ไม่งงก็คือ DeepBotมีนิสัยชอบเดินไกลและเป็นนักค้นหา มันจะพยายามอย่างสุดความสามารถในการค้นหาเว็บเพจอันห่างไกลความเจริญ (เว็บที่ไม่เคยโปรโมต) ไม่ว่าจะเป็นเว็บเก่า เว็บใหม่ ด้วยการใช้ลิงก์เป็นถนนเดินทางไปทั่วอินเทอร์เน็ต เมื่อมันพบแล้ว มันก็จะดาวน์โหลดข้อมูลใหม่ๆ ที่มันเจอเก็บลงใน Index ของ Google รวมทั้งลิงก์ใหม่ๆ ก็เช่นกัน ซึ่งจะใช้เวลาประมาณหนึ่งเดือนสำหรับขบวนการทั้งหมด
พูดอีกอย่างคือ DeepBot ใช้เวลาในการทำงานครั้งละเป็นเดือน (ลองนึกภาพจำนวนเว็บทั้งหมด และยังไม่พูดถึงเว็บใหม่ๆ ที่เกิดขึ้นมาทุกวันอีก) การทำงานของ DeepBot ส่วนใหญ่จะกินเวลาอยู่ที่ประมาณ 1 เดือน ส่วนมันจะเริ่มทำงานวันไหน อันนี้ก็แล้วแต่ว่าแต่ละครั้งมันจบงานวันไหน ไม่จำเป็นต้องเป็นวันรับเงินเดือนเสมอไปนะครับถึงจะทำงานได้ ดังนั้น บางที่คุณอาจเห็นอันดับเว็บเพจต่างๆ เปลี่ยนไปมาไม่คงที่ในแต่ละเดือน (Google Dance) ส่วนหนึ่งก็เพราะการทำงานของ DeepBot ที่พบอะไรใหม่ๆ บนโลกออนไลน์ที่ต้องอัปเดทตลอดนั่นเอง
Google FreshBot
เมื่อ Google มีข้อมูลเว็บเพจและลิงก์ทั้งเก่าและใหม่มากมายจากการใช้ DeepBot ทำงานให้แล้ว ทีนี้ก็จะเหลือแต่ว่า จะทำยังไงให้ Indexer นั้นมีข้อมูลที่สดใหม่ไม่ล้าสมัยอยู่ตลอด ลองนึกภาพดูง่ายเลยว่า ถ้าเมื่อคืนเทนนิสวิมเบอร์ดันนัดชิง โรเจอ เฟดเดอเรอร์ พลาดท่า พ่ายแพ้ให้กับ นาดาล ข่าวใหม่ และข่าวใหญ่อย่างนี้ ถ้า Google ไม่สามารถนำเอามาอัปเดทได้ เสียหน้าแย่เลย
ดังนั้นมันเป็นหน้าที่ของ Google ที่จะต้องมีตัวซอฟท์แวร์ที่คอยวิ่งหาข้อมูลใหม่ๆ อัปเดทๆ เข้ามาให้ผู้ใช้ Search ได้ค้นเจอกันได้ แต่จะหาได้ที่ไหนล่ะ ก็แน่นอนว่า FreshBot ก็ต้องมุ่งไปที่เว็บที่มีการอัปเดทบ่อยครั้งทุกวัน ที่มันสามารถตรวจจับได้ ว่าเว็บใครฝุ่นจับใยแมงมุมเกาะ หรือเว็บใครมีการเช็ดปัดเงาทุกวัน และมันเกี่ยวอะไรกับเราผู้ทำเว็บล่ะ เดี๋ยวผมจะบอก
เจ้า FreshBot ที่ขยันและอินเทรนด์ตัวนี้จะชอบแวะเวียนไปตามเว็บไซต์ที่มีการอัปเดตเนื้อหาบ่อยๆ ยิ่งบ่อยเท่าไหร่มันก็จะจำได้ และยิ่งชอบแวะไปหาบ่อยเท่านั้น เพื่อเก็บเนื้อหาล่าสุดจากเว็บไซต์เหล่านั้น จะได้มาอัปเดทฐานข้อมูลของมัน (Indexer) เพื่อไม่ให้ตกข่าวใหม่ๆ
สิ่งนี้บอกได้ว่า ถ้ายิ่งเว็บคุณมีการอัปเดทและใส่เนื้อหาใหม่ๆ เข้าไปบ่อยๆ ยิ่งบ่อยเท่าไหร่ เนื้อหาที่คุณใส่เข้าไปในเว็บคุณก็จะยิ่งไปโผล่อยู่ที่ Google ได้เร็วเท่านั้น ซึ่งก็จะส่งผลดีกับคุณทันที เพราะใครๆ ก็ที่เข้ามาใน Google เพื่อหาข้อมูลที่คุณมีในเว็บก็จะพบกับเว็บคุณได้ง่ายขึ้น เพราะทันทีที่คุณใส่เนื้อหาใหม่เข้าไปบนเว็บคุณ Google ก็จะเอาไปใส่ใน Index อย่างรวดเร็วทันใจ ทำให้คุณได้ผู้ชมมากขึ้น เพียงอัปเดทเนื้อหาเป็นประจำในเนื้อหาที่เกี่ยวกับสินค้าที่คุณขาย คุณก็จะเป็นจ้าวยุทธจักรในตลาดที่คุณทำได้ไม่ยากเลย
source : digitalmoneylife.com