>> ทำไม robots เหล่านี้จึงไม่ค่อยย่อมฟังไฟล์ที่เรา set กันเอาไว้ อย่าไปคิดเลยครับว่า search engines ทุกตัว จะทำตามกฏกติกา เหมือนกันซะทุกตัว…. จุดประสงค์ของ search engine บางตัว ก็ไม่ได้มาทำ web index เสมอไป