ในโลกของอินเทอร์เน็ทข้อมูลมีมากมายเหลือเกิน ถ้าจะใช้เวลาในการอ่านทุกสิ่งบน เข้าไปค้นหาอินเทอร์เน็ทคงต้องใช้เวลานานหลายชั่วอายุคน จริง ๆ แล้วเราคงไม่มีความสนใจในทุกเรื่อง แต่คงสนใจเฉพาะเรื่องที่เราสนใจเท่านั้น จึงมีคนคิดเครื่องมือในการช่วยค้นหาข้อมูลที่ต้องการ นั้นก็คือ Search Engine
Search Engine คือ เครื่องมือการค้นหาข้อมูลผ่านอินเตอร์เน็ต ที่ทุกคนสามารถหาข้อมูลผ่านอินเตอร์เน็ตก็ได้ โดยกรอก ข้อมูลที่ต้องการค้นหา หรือ Keyword (คีย์เวิร์ด) เข้าไปที่ช่อง Search Box แล้วกด Enter แค่นี้ข้อมูลที่เราค้นหาก็จะถูกแสดงออกมาอย่างมากมาย เพื่อให้เราเลือกข้อมูลตรงกับความต้องการของเรามากที่สุด โดยลักษณะการแสดงผลของ SearchEngine นั้นจะทำการแสดงผลแบบ เรียงอันดับ Search Results ผ่านหน้าจอคอมพิวเตอร์ของเรา Search Engine โดยทั่วไปมี 3 ประเภท โดยมีหลักการทำงานที่ต่างกัน และการจัดอันดับการค้นหาข้อมูลก็ต่างกัน เพราะมีลักษณะการทำงานที่ต่างกัน ทำให้โดยทั่ว ๆ ไปแล้วจะมีการแบ่งออกเป็นหลาย ๆ ประเภทด้วยกัน ดังต่อไปนี้ คือ
ประเภทที่ 1 Crawler Based Search Engines คือ เครื่องมือการค้นหาบนอินเตอร์เน็ตแบบอาศัยการบันทึกข้อมูล และ จัดเก็บข้อมูลเป็นหลัก ซึ่งจะเป็นจำพวก Search Engine ที่ได้รับความนิยมสูงสุด เนื่องจากให้ผลการค้นหาแม่นยำที่สุด และการประมวลผลการค้นหาสามารถทำได้อย่างรวดเร็ว จึงทำให้มีบทบาทในการค้นหาข้อมูลมากที่สุดในปัจจุบัน โดยมีองค์ประกอบหลักเพียง 2 ส่วนด้วยกันคือ
1. ฐานข้อมูล โดยส่วนใหญ่แล้ว Crawler Based Search Engine เหล่านี้จะมีฐานข้อมูลเป็นของตัวเอง ที่มีระบบการประมวลผล และ การจัดอันดับที่เฉพาะ เป็นเอกลักษณ์ของตนเองอย่างมาก
2. ซอฟแวร์คือ เครื่องมือหลักสำคัญที่สุดอีกส่วนหนึ่งสำหรับ Serch Engine ประเภทนี้ เนื่องจากต้องอาศัยโปรแกรมเล็กๆ ทำหน้าที่ในการตรวจหา และทำการจัดเก็บข้อมูล หน้าเพจ หรือ เว็บไซต์ต่าง ๆ ในรูปแบบของการทำสำเนาข้อมูล เหมือนกับต้นฉบับทุกอย่าง ซึ่งเราจะรู้จักกันในนาม Spider หรือ Web Crawler หรือ Search Engine Robots
