Developmental Evaluation : 18. การสร้างข้อมูลที่มีพลัง สำหรับใช้ในการประเมิน

สาระในตอนที่ ๑๘ นี้    ผมตีความจากหนังสือ  Evaluation Design for Complex Global Initiatives: Workshop Summary(2014)   จัดพิมพ์โดย National Academy Press และดาวน์โหลดได้ฟรี    หนังสือเล่มนี้ไม่เอ่ยถึงชื่อ Developmental Evaluation เลย    แต่เน้นธรรมชาติ complexity ของโครงการเหมือนกัน   

ผมนำเฉพาะตอนที่ว่าด้วยเรื่องข้อมูลมาเล่า    ที่เขาบอกว่า คุณภาพของการประเมินขึ้นอยู่กับคุณภาพของข้อมูลเป็นอย่างมาก    ความยากลำบากอยู่ที่ในประเทศด้อยพัฒนามักไม่มีข้อมูลเกี่ยวกับงานประจำที่มีคุณภาพ    แต่ไม่ว่าจะมีข้อมูลจากงานประจำดีแค่ไหน  ทีมประเมินต้องเก็นข้อมูลปฐมภูมิด้วยตนเองเสมอ เพื่อใช้ตรวจสอบความแม่นยำถูกต้องของข้อมูลจากงานประจำ    หรือจากรายงาน      

แต่การเก็บข้อมูลต้องทำหลังกำหนด theory of change ที่ใช้ในการประเมินไว้อย่างชัดเจนแล้ว    สำหรับใช้ เป็นตัวกำหนดข้อมูลที่ต้องการใช้

เขาบอกว่า ในอนาคต จะมีแหล่งข้อมูลอื่นๆ (เขาเรียก non-traditional data) ให้ใช้    ได้แก่ ข้อมูลตามพื้นที่ภูมิศาสตร์ (geospatial analysis)    การให้ความเห็นป้อนกลับโดยประชาชน (citizen feedback)   ข้อมูลพฤติกรรมของประชาชน    ข้อมูลจาก sensor เช่นจากกล้องวงจรปิด    ข้อมูลจากกิจกรรม ออนไลน์    ซึ่งก็นำสู่ประเด็นด้านจริยธรรมเกี่ยวกับข้อมูล  

เขาเน้นหลักการและการปฏิบัติเรื่อง ข้อมูลเปิด (open data)    คือเปิดให้คนนอกเข้าถึง เพื่อตรวจสอบคุณภาพของการประเมินได้    

ประเด็นสำคัญเรื่องข้อมูล

• ในการวางแผนการประเมิน  ต้องคิดวางแผนเรื่องข้อมูลที่ต้องการใช้   และโอกาสที่จะได้ข้อมูลเหล่านั้น
• หากมีการเก็บข้อมูลอย่างได้มาตรฐาน  และมีการวิเคราะห์อย่างได้มาตรฐาน    ก็จะช่วยหนุนคุณภาพของการประเมิน
• ในการประเมินที่ซับซ้อน กรอบเวลาและวงเงินที่ใช้ มีความสำคัญต่อการออกแบบเก็บและวิเคราะห์ข้อมูล   
• ข้อมูลจากการทำงานประจำวันของโครงการ จะเป็นแหล่งข้อมูลที่มีคุณค่าสูงยิ่งต่อการประเมิน
• ข้อมูลการเงินจะช่วยการประเมินประสิทธิภาพ และ อัตราผลตอบแทนการลงทุน
• โครงสร้างพื้นฐานของข้อมูลขนาดใหญ่ จากหลากหลายแหล่ง เป็นเครื่องมือวิจัยชั้นเยี่ยม

ข้อมูลเป็นฐานสำคัญของการประเมิน    และอาจเป็นจุดตายของคุณภาพการประเมินได้ด้วย

แผนที่ข้อมูล(data mapping)

วัตถุประสงค์ของการทำแผนที่ข้อมูลก็เพื่อให้ได้ภาพข้อมูลที่ต้องการ เพื่อตอบคำถามประเมิน และสนองกรอบการประเมินในทุกขั้นตอนคือ ขั้นตอน inputs, activities, outputs, outcomes และ impact    

ต้องมีการกำหนดแหล่งข้อมูล สำหรับตอบคำถามประเมิน    ทั้งข้อมูลการติดตาม (monitoring)  ข้อมูลการเงิน   การตรวจตรา (surveillance)  การสัมภาษณ์  การทบทวนเอกสาร  และข้อมูลชนิดอื่นๆ    ทั้งนี้ เพื่อตรวจสอบดูว่า มีแหล่งข้อมูลใดบ้างที่มั่นใจว่ามีให้ใช้และเป็นข้อมูลที่มีคุณภาพ    นำมาทดลองจับคู่แหล่งข้อมูลกับคำถามวิจัย    รวมทั้งตรวจสอบการใช้ข้อมูลเพื่อตอบคำถามนั้น  

ตัวอย่างความท้าทาย

เขายกตัวอย่าง ๓ กรณีตัวอย่างของการใช้ข้อมูลในการประเมินโครงการความช่วยเหลือขนาดใหญ่ที่ให้แก่ประเทศในทวีปอัฟริกาโครงการละหลายประเทศ    เป็นเรื่องทางด้านสาธารณสุขทั้งหมด คือเรื่อง HIV/AIDS, วัณโรค, และมาลาเรีย หนึ่งโครงการ   และเฉพาะมาลาเรีย ๒ โครงการ     

โครงการแรกดำเนินการใน ๑๘ ประเทศ    การประเมินเลือก ๘ ประเทศที่มีการเก็บข้อมูลระดับจังหวัด (district)   โดยว่าจ้างหน่วยงานภายในประเทศทำหน้าที่เก็บข้อมูล    ซึ่งทำได้อย่างยากลำบาก และมีผลให้ ๓ ประเทศขอออกจากการประเมิน   

ข้อมูลที่เก็บได้มีความแม่นยำเฉพาะการสำรวจครัวเรือน   และการสำรวจเครื่องมือเครื่องใช้    นอกนั้นคุณภาพของข้อมูลแตกต่างกันระหว่างประเทศ จนเอามาเปรียบเทียบกันไม่ได้    ยิ่งข้อมูลด้านการเงิน ยิ่งเชื่อถือไม่ได้เลย   

เขาแนะนำ ๓ ขั้นตอนในการพิจารณาดำเนินการเก็บข้อมูลคือ  (๑) กำหนดตัวชี้วัดที่จำเป็นสำหรับการประเมิน  (๒) คิดเรื่องการเก็บข้อมูล   เอามาพิจารณาว่าจะคงตัวชี้วัดตัวใดไว้ เอาตัวใดออก    ขึ้นกับความมั่นใจว่าจะได้ข้อมูลที่มีคุณภาพยอมรับได้  (๓) กำหนดวิธีประเมินคุณภาพของข้อมูลเป็นระยะๆในระหว่างดำเนินการเก็บข้อมูล   

ข้อแนะนำจากประสบการณ์ของอีกสองโครงการคือ ให้กำหนดเกณฑ์ยกระดับคุณภาพของข้อมูล (data cleaning criteria) ไว้ล่วงหน้า     กำหนดมาตรฐานการเก็บข้อมูลอย่างมีคุณภาพไว้ให้ชัดเจน    ตกลงกับผู้มีอำนาจตัดสินใจในประเทศนั้นๆ หรือแหล่งทุนของโครงการ ให้ชัดเจนว่า ทีมประเมินมีสิทธิเข้าถึงข้อมูลปฐมภูมิของประเทศเพียงไร      

ใช้ข้อมูลการปฏิบัติงานประจำของโครงการ

คำแนะนำคือ ให้พิจารณาว่าโจทย์การประเมินคืออะไรบ้าง     จะต้องใช้ข้อมูลจากการปฏิบัติงานประจำอย่างไรบ้าง     และต้องใช้ข้อมูลจากแหล่งทุติยภูมิอย่างไรบ้าง    ทำอย่างไรจะทำให้ข้อมูลทั้งสองแหล่งที่ต้องการใช้มีคุณภาพได้มาตรฐาน    โดยต้องหมั่นตรวจสอบคุณภาพของข้อมูลเป็นระยะๆ   

ข้อมูลการเงิน

เป้าหมายของการใช้ข้อมูลการเงิน กับการใช้ข้อมูลการปฏิบัติงาน แตกต่างกัน    ข้อมูลการปฏิบัติงานใช้วัดประสิทธิผล (effectiveness) ของโครงการ    ส่วนข้อมูลการเงินใช้วัดประสิทธิภาพ (efficiency)  และความคุ้มค่าของเงินที่ใช้ไป  

จากประสบการณ์ของผู้ประเมิน ร้อยละ ๔๐ ของประเทศที่รับความช่วยเหลือ ไม่มีข้อมูลการเงิน    ที่เหลือแม้จะมีข้อมูลการเงิน ก็เป็นข้อมูลคุณภาพต่ำ     คำแนะนำสำหรับนักประเมินคือ หากการประเมินต้องการใช้ข้อมูลการเงิน ต้องตกลงกันให้ชัดเจน ว่าโครงการต้องมีระบบข้อมูลอย่างไรบ้าง    และอาจต้องมีช่วงทดสอบความครบถ้วนแม่นยำของข้อมูลการเงินของโครงการ   

การพัฒนาโครงสร้างข้อมูลขนาดใหญ่

มีการเสนอประสบการณ์สร้างระบบข้อมูลขนาดใหญ่ที่ครอบคลุมหลายประเทศ    ที่ช่วยเพิ่มพลังการใช้ข้อมูลเพื่อการประเมินในมิติใหม่ๆ ได้    แต่ในขณะเดียวกัน ก็ท้าทายต่อประเด็นเชิงจริยธรรมในการใช้ข้อมูล    และท้าทายต่อการเพิ่มความไม่เท่าเทียมระหว่างประเทศยากจนกับประเทศร่ำรวย    เพราะประเทศร่ำรวยมีศักยภาพสูงในการนำข้อมูลไปใช้ประโยชน์    ส่วนประเทศยากจนมีศักยภาพต่ำ 

เรื่องการพัฒนาโครงสร้างพื้นฐานของข้อมูลขนาดใหญ่นี้ เป็นเรื่องที่มีโอกาสก้าวหน้าได้มาก    จากพัฒนาการหลายด้าน โดยเฉพาะเทคโนโลยีดิจิทัล    ที่ช่วยให้มีการเก็ยบข้อมูลที่สมัยก่อนเก็บไม่ได้    เขาบอกว่า เป็นการเปิดโอกาสให้วิทยาศาสตร์เข้าไปมีส่วนสนับสนุนพัฒนาข้อมูลด้านสังคมศาสตร์โลก   ที่จะทำให้สังคมศาสตร์มีความก้าวหน้าแบบก้าวกระโดด  

ตัวอย่างพลังของระบบข้อมูลขนาดใหญ่ เช่น สามารถเปรียบเทียบระหว่างประเทศ  ระหว่างพื้นที่ หรือระหว่างกลุ่ม    รวบรวมข้อมูลของกลุ่มที่พบน้อย จากหลายแหล่ง ให้สามารถศึกษาได้    รวมทั้งมีการศึกษาข้ามพรมแดนประเทศได้   เป็นต้น    

มีโอกาสใช้เทคโนโลยีสมัยใหม่เพื่อให้ข้อมูลขนาดใหญ่เกิดประโยชน์อย่างแท้จริง  เช่นการค้นพบผู้ที่สมควรได้รับการดูแล    การใช้ข้อมูลจากแหล่งใหม่ๆ    การมีข้อมูลในรูปแบบใหม่ๆ    การใช้เทคโนโลยีใหม่ๆ     รวมทั้งระบบ metadata เพื่อบอกแหล่งที่มาและลักษณะของข้อมูล    การพัฒนาให้ค่าใช้จ่ายในการเก็บข้อมูลลดลง เป็นต้น   ซึ่งนำไปสู่ประเด็น data security, data governance, จริยธรรมในการใช้ข้อมูล และ data compatibility ระหว่างประเทศ   

ข้อสังเกตจากประสบการณ์

สิทธิและเงื่อนไขในการเข้าถึงและใช้ข้อมูล เป็นเรื่องที่ต้องตกลงหรือระบุไว้ให้ชัดเจน    ปัจจัยที่สำคัญที่สุดที่มีผลต่อการเข้าถึงข้อมูลคือการเมือง    มี ๔ ปัจจัยที่เกี่ยวข้องกับการเข้าถึงข้อมูล  (๑) ความสัมพันธ์ที่ดีกับนักวิจัยภายในประเทศ  (๒) นักวิทยาศาสตร์แชร์ข้อมูลง่ายกว่าผู้จัดการงานวิทยาศาสตร์ (science manager)   (๓) แต่ละประเทศหวงข้อมูลมากน้อยแตกต่างกัน  และ (๔) บางประเทศลำบากใจที่จะแชร์ข้อมูลบางประเภท เช่นข้อมูลเชิงชีววิทยา (biological data)  

จากประสบการณ์ของผู้เข้าร่วมประชุม มหาวิทยาลัยเป็นองค์กรที่การแชร์ข้อมูลเป็นเรื่องยุ่งยากที่สุด  

วิจารณ์ พานิช

  ๔ ธ. ค. ๖๓