คนทำ SEO ต้องรู้! Google Bot มาทำอะไรกับเว็บไซต์ของเราบ้าง

ปัจจุบันนับได้ว่า Google เป็นเครื่องมือค้นหาที่มีความโดดเด่นที่สุดในโลกและมีโปรแกรมรวบรวมข้อมูลเว็บ (Crawler) ที่ทรงประสิทธิภาพในนาม “Googlebot” เพื่อให้เว็บไซต์ของคุณไปปรากฏอยู่ในผลการค้นหาของ Google เราจึงเห็นได้ว่าสิ่งนี้มีความสำคัญอย่างยิ่งสำหรับนัก SEO โดยตรงเพื่อไขกุญแจไปสู่คำตอบว่าทำอย่างไรให้หน้าเว็บไซต์ของคุณติดอันดับในหน้าแรก

ดังนั้น การทำความเข้าใจพื้นฐานเกี่ยวกับวิธีการทำงานของ Googlebot คืออีกเรื่องหนึ่งที่จะเป็นประโยชน์อย่างยิ่งให้นัก SEO ยกระดับตัวเองขึ้นไปอีกขั้น

Google Bot คืออะไร?

Googlebot เป็นชื่อของ Web Crawler หรือที่รู้จักกันในนามของ SpiderBot ซึ่งเป็นโปรแกรมรวบรวมข้อมูลของ Google ที่รวบรวมข้อมูลจากอินเทอร์เน็ตและจัดเรียงไว้สำหรับ Index โดยจะมีการออกสำรวจไปตามลิงก์ที่อยู่บนหน้าเว็บไซต์ โดยจะบันทึกข้อมูลต่าง ๆ ที่ได้รับมาเข้าสู่ฐานระบบศูนย์กลางของ Google Server เพื่อประมวลผลและนำไปจัด Ranking โดยจะสามารถแบ่งชนิดของการทำงานออกเป็น 2 ลักษณะซึ่งก็คือ

• Freshbot – เป็น Bot ที่ทำงานตลอดเวลา มุ่งเน้นไปยังเนื้อหาใหม่บนเว็บไซต์ที่อัปเดตเนื้อหาในช่วงเวลาสั้น ๆ เช่น นิตยสารออนไลน์, เว็บไซต์ข่าว หรือบล็อก เป็นต้น เพื่อปรับปรุงข้อมูลให้สดใหม่อยู่เสมอ เปรียบเสมือน Bot ที่มีความตื่นตัวตลอดเวลา

• Deepbot – คอยตรวจสอบโครงสร้างเชิงลึกของเว็บไซต์และรวบรวมลิงก์ให้ได้มากที่สุดสำหรับการ Index ซึ่งเก็บเกี่ยวลิงก์และติดตามข้อมูลได้อย่างเจาะลึกและไกล โดยจะมีการทำงานที่ไม่บ่อยนักเฉลี่ย 1 ครั้งต่อเดือนเท่านั้น เป็น Bot ที่มีความอดทนสูงในการออกผจญภัย

โดย Bot ทั้งสองประเภทจะทำงานร่วมกัน เพื่อรวมข้อมูลเข้าสู่ Index ที่ถูกต้องพร้อมให้ถูกดึงข้อมูลไปใช้บนหน้าของ Search engine นั่นเอง

Googlebot ทำงานอย่างไรกับเว็บไซต์ของเรา?

ก่อนอื่นเลย Googlebot จะเข้ามาที่เว็บไซต์ของเราเพื่อทำการรวบรวมข้อมูลทุกอย่าง ไม่ว่าจะเป็นข้อความ ไฟล์ทุกชนิด ลิงก์ที่เชื่อมอยู่ แม้กระทั่งการเข้าไปอ่าน Code รวมถึง Script ต่าง ๆ ของเราและทำการรวบรวมข้อมูล เพื่อส่งกลับไปยัง Google Server ให้จัดทำ Index ต่อไป
โดยวิธีที่ Bot สามารถค้นพบเว็บไซต์ของเราได้นั้นมีหลายวิธีด้วยกัน แต่ก่อนอื่นให้เราแบ่งประเภทของ Google Bot ตามการใช้งานออกเป็น 2 รูปแบบดังนี้

• Googlebot สำหรับ Desktop: เป็น Crawler ที่จะวิ่งเก็บข้อมูลผ่านเครื่องมือที่เป็น Desktop ซึ่งจำลองเป็นผู้ใช้งานบน Desktop โดยตรง

• Googlebot สำหรับ Smartphone: เป็น Crawler ที่จะเก็บข้อมูลสําหรับอุปกรณ์เคลื่อนที่ต่าง ๆ ซึ่ง Google ได้เริ่มให้ความสำคัญกับพฤติกรรมการใช้ Smartphone มากขึ้น

โดย Bot ทั้งสองจะวิ่งเก็บข้อมูลได้หลายวิธีด้วยกันไม่ว่าจะเป็นจากการค้นหาลิงก์จากเว็บไซต์ที่แตกต่างกันนับล้านบนอินเทอร์เน็ตผ่านการติดตามลิงก์ (Following links) เพื่อค้นหา Content ใหม่ ๆ หรือการส่ง Sitemaps ผ่าน Google Search Console ที่จะป้อนข้อมูลให้ Bot สามารถอ่านค่าได้ทันทีก่อนที่จะนำไป Index

นอกจากนี้ยังช่วยบันทึกข้อมูลเมตา ซึ่งทำหน้าที่เป็นหนึ่งในปัจจัยการจัดอันดับในภายหลังอีกด้วย ตัวอย่างได้แก่

• รหัสสถานะการตอบสนองของหน้า HTTP
• ค่า Robots meta
• Viewport size
• Response time (เวลาการตอบสนอง)

ที่สำคัญเลยก็คือ Googlebot ไม่ได้เข้ามาเก็บข้อมูลเพียงครั้งเดียวเท่านั้น แต่ยังมีการแวะเวียนมาเก็บเรื่อย ๆ เช่นกรณีที่เราลงเนื้อหาใหม่ แก้ไขเนื้อหาเดิม หรือมีการเปลี่ยนแปลงใด ๆ ก็ตามซึ่ง Bot ตัวนี้จะเก็บรวบรวมข้อมูลเพื่อทำรายงานให้เป็นปัจจุบันเสมอ

Google Bot ทำงานอย่างไร ก่อนให้เว็บไซต์ติดหน้าแรก

ในตอนนี้เราคงเห็นภาพรวมกันแล้วว่า Google Bot คืออะไร มาทำอะไรกับเว็บไซต์ของเรา ซึ่งเราจะได้ยินคำว่า “Index” กันอยู่บ่อย ๆ พร้อมเกิดคำถามว่าสรุปแล้ว มันมีผลอย่างไรกับการทำ SEO กันแน่? และในตอนนี้เราจะมาเผยให้เห็นกันว่ากระบวนการทั้งหมดที่ Google Bot เดินทางไปนั้นจะส่งผลในทิศทางใดกับเรื่องนี้ โดยต้องบอกก่อนว่ากระบวนการเก็บข้อมูลมีความซับซ้อนกว่าที่คิด แต่เราสามารถที่จะอธิบายได้ผ่านแผนผังโดยรวมได้ดังนี้

ที่มา: ahrefs.com

1. Googlebot จะทำการดึง URL จาก Crawl Queue โดยอาจมาจาก Backlinks, Sitemaps, URL Submissions (Google Search Console) ซึ่งจะตรวจสอบว่า URL อนุญาตให้รวบรวมข้อมูลหรือไม่ โดยการอ่านไฟล์ Robots.txt

2. Googlebot จะประเมินว่าควรดำเนินการรวบรวมข้อมูลต่อ หรือข้าม URL นั้นไปโดยขึ้นอยู่กับคำแนะนำที่อยู่ใน Robots.txt

3. จากนั้นจะทำการแยกวิเคราะห์ HTML เพื่อประมวลผลทำความเข้าใจกับเนื้อหาบนเว็บไซต์โดย ระหว่างนี้ Crawl จะทำงานไปเรื่อย ๆ เพื่อค้นหา URL อื่นที่มีเนื้อหาเชื่อมโยงกันจนกว่าจะถูกนำมาใช้จัดทำ Index ได้อย่างสมบูรณ์

4. ข้อมูลที่ได้รับการ Index เรียบร้อยจะนำไปสู่การจัด Ranking ที่จะไปปรากฏอยู่ในหน้าค้นหาของ Google Search ต่อไป

โดยเราจะเห็นได้ว่าการจัดอันดับ (Ranking) บน Google Search นั้นจะทำงานโดยการดึงข้อมูลที่ถูก Index ไว้ขึ้นมาใช้นั่นเอง ซึ่งส่งผลให้หน้าเว็บไซต์ที่มีคะแนนการทำ Index ไว้ดีจะช่วยให้ไต่อันดับไปอยู่ในหน้าแรกได้มากขึ้นอีกด้วย นับเป็นผลดีในด้าน SEO อย่างที่รู้กัน

3 วิธีทำให้ Googlebot ทำ Index เว็บไซต์ให้เรา

มีหลายวิธีที่จะกำหนดว่าจะทำการ Crawler และ Index เว็บไซต์ของคุณ แม้จากมุมมองทางเทคนิคแล้ว “คุณไม่จำเป็นต้องทำอะไรเลย” เพราะท้ายที่สุดแล้ว Googlebot จะเริ่มรวบรวมข้อมูลและจัดทำทุกอย่างให้เองจากหน้าเว็บไซต์ทั้งหมดที่มี เพียงแต่อาจมีความล่าช้าไปบ้าง เนื่องจากโปรแกรมรวบรวมข้อมูลเว็บอาจต้องใช้เวลาสักระยะจึงจะค้นพบเว็บไซต์ของคุณ จึงไม่แปลกเลยว่าทำไมบางครั้งเมื่อคุณลงเนื้อหาบางส่วนไปแล้วค้นหาบน Google Search คุณอาจจะยังไม่เจอ content ของคุณในทันที เพราะต้องรอให้ Bot ได้ทำงานก่อนนั่นเอง

ส่วนใครที่เป็นสายใจร้อนอยากดำเนินการให้เร็ว นี่คือ 3 วิธีที่คุณสามารถที่จะลงมือทำได้เลย

1. ส่ง URL Inspection ลง Tools

ที่มาภาพ: mangools

เราสามารถที่จะขอทำ Index โดยตรงได้เลยจาก Google Search Console โดยการระบุคำร้องเพื่อส่ง URL เข้าไป โดยวิธีนี้จะเป็นวิธีที่ปลอดภัยเนื่องจากเราสามารถที่จะตรวจสอบได้ด้วยตนเองว่าลิงก์ไหนที่เราเลือกเองกับมือ อีกทั้งเป็นวิธีการทำ Index ที่รวดเร็วที่สุดอีกด้วย

2. สร้าง Sitemap

ที่มาภาพ: mangools

Sitemap คือรายการหรือไฟล์ในรูปแบบ XML ที่มีหน้าเว็บไซต์ทั้งหมดของคุณที่ต้องการเผยแพร่เพื่อให้ทำการ Crawler และ Index โดยประโยชน์หลักของแผนผังไซต์คือทำให้เครื่องมือค้นหารวบรวมข้อมูลบนเว็บไซต์ของคุณได้ง่ายขึ้นมาก ทั้งยังสามารถส่ง URL จำนวนมากได้ในคราวเดียว และวิธีการนี้คุณก็สามารถทำเองได้ผ่าน Google Search Console หรืออีกวิธีที่ง่ายที่สุดในการสร้าง Sitemap สำหรับ WordPress คือการใช้ Plug-in Yoast SEO ที่จะทำเพื่อคุณโดยอัตโนมัติ

3. ทำการเชื่อมโยง link ให้เหมาะสม

ที่มาภาพ: mangools

โครงสร้างของการใช้ Internal linking คือสิ่งที่จำเป็นอย่างมากในการช่วยให้ Bot เข้ามา Index ข้อมูลได้ดี อีกทั้งยังมีข้อดีระยะยาวสำหรับการรวบรวมข้อมูลของเว็บไซต์ที่จะช่วยให้เนื้อหากลมกลืนกันได้มากขึ้น สิ่งที่พลาดไม่ได้ก็คือ ให้คุณพยายามใช้ external links ควบคู่กันไปด้วยเพื่อทำให้เว็บไซต์ของคุณสร้างคะแนนโหวตในด้านความน่าเชื่อถือมากขึ้นในสายตาของ Google อ่านเพิ่มเติมเกี่ยวกับการเชื่อมโยง Link ที่เหมะาสมได้ที่บทความ Internal Links และ External Links ในการทำ SEO

รู้ได้อย่างไรว่า Googlebot กำลังรวบรวมข้อมูลไซต์ของเราอยู่?

เครื่องมือ Google Search Console คือ Tools อีกตัวหนึ่งที่ช่วยเราตรวจสอบเรื่องนี้ได้เป็นอย่างดี โดยจะมีฟังก์ชันของเมนูที่เรียกว่า “Crawl Stats” เพื่อช่วยให้คุณสามารถดู Insights ได้ว่าหน้าเว็บไซต์ของคุณมีการถูกรวบรวมข้อมูลแบบไหน พร้อมทั้งบอกถึงเมตริกต่าง ๆ ที่คุณสามารถนำไปใช้เพื่อวิเคราะห์และปรับปรุงได้ว่าเราจะทำอย่างไรให้หน้าเพจเว็บไซต์ของเราถูกรวบรวมข้อมูลได้ทั้งหมด รวมถึงการแก้ไขหน้าเพจที่อาจถูกปัดตกไปก่อนหน้านี้ อีกทั้งยังวัดได้ว่า Crawl Budget มีประสิทธิภาพเพียงใดเพื่อส่งผลกระทบน้อยที่สุดกับ User ที่ใช้งานเว็บไซต์

สรุป ตัวจริงของ Googlebot

จากที่ลองขยายภาพให้ดู เราจะสังเกตได้ว่า Googlebot แทบไม่ต่างอะไรจากหุ่นยนต์ตัวน้อยที่คอยเก็บข้อมูลในทุกช่วงเวลาเพื่อรวบรวมข้อมูลทุกอย่างมาจัดระเบียบให้ผู้ที่ค้นหาได้เจอข้อมูลที่ใช่และถูกใจในการใช้งาน โดยการทำงานเล็ก ๆ นี้เองที่คอยอยู่เบื้องหลังการจัดการข้อมูลจำนวนมหาศาลที่ทั่วโลกใช้กันอยู่ทุกวันนี้ ซึ่งมีความสำคัญกับนัก SEO ไม่น้อย

โดยหากใครที่กำลังเริ่มทำ SEO อยู่ล่ะก็ เรื่องของ “Robots สำหรับ Search Engine” นับเป็นอีกหนึ่งเรื่องที่คุณไม่รู้ไม่ได้เด็ดขาด! เพราะสิ่งนี้มีความเกี่ยวข้องโดยตรงกับการทำ Ranking ของเว็บไซต์ และแน่นอนว่ายังมีเรื่องราวอีกมากมายให้คุณได้ติดตามเพื่อศึกษาในจุดที่ลึกลงไปอีกหลายมิติ (แม้มีแนวโน้มซับซ้อนขึ้นเรื่อย ๆ) เชื่อเลยว่าหากคุณได้เรียนรู้อย่างทะลุปรุโปร่งแล้วล่ะก็ มันจะทำให้คุณกลายเป็นนัก SEO ที่มีฝีมือเด็ดดวงไปอีกขั้นเลยก็ว่าได้