Developmental Evaluation : 30. บรรยายสั้นๆ เรื่อง DE ที่ สกสว.

 

 

เวทีการประชุม

“การชี้แจงวัตถุประสงค์ และแนวทางในการติดตามและประเมินผลการดำเนินงานเชิงกระบวนการ (Process Evaluation)

ของหน่วยบริหารและจัดการทุน (PMU) และหน่วยงานในระบบ ววน. ประจำปีงบประมาณ 2563”

วันจันทร์ที่ 26 เมษายน 2564  เวลา 13.00 – 16.00 น.

จัดโดย สำนักงานคณะกรรมการส่งเสริมวิทยาศาสตร์ วิจัยและนวัตกรรม (สกสว.)

ผ่านระบบออนไลน์ (Zoom Meeting)

 

การบรรยาย เรื่อง “การประเมินเพื่อการพัฒนา (Developmental Evaluation  - DE) : หลักการและกรอบแนวคิด"

โดย ศ.นพ.วิจารณ์ พานิช ผู้ทรงคุณวุฒิ

การประเมินเพื่อการพัฒนา (Developmental Evaluation) หรือเรียกกันสั้นๆ ว่า DE นั้น มีการให้คำนิยามที่หลากหลาย  ได้แก่ 

• เครื่องมือที่ช่วยในการเรียนรู้สำหรับกลุ่มคนที่มีความเกี่ยวข้อง (stakeholders) และมีความแตกต่างกันในหน้าที่รับผิดชอบ มุมมอง ความเชื่อ ประสบการณ์ แต่มีเป้าหมาย (purpose) ที่ยิ่งใหญ่  ร่วมกัน โดย DE เป็นเครื่องมือช่วยให้การดำเนินงานบรรลุเป้าหมายตามที่ตั้งไว้
• เครื่องมือที่ใช้ในการทำความเข้าใจสถานการณ์ที่ซับซ้อน (complex situation) ด้วยการตีความข้อมูลจากมุมมองที่แตกต่างและหลากหลาย โดยต้องมีทีมประเมินที่เก็บข้อมูลได้ชัดเจน ครบถ้วน แม่นยำ และหาข้อตกลงร่วมกันเพื่อนำไปดำเนินการยกระดับผลงาน แล้วเก็บข้อมูลในรอบต่อไป รวมถึงเป็นเครื่องมือที่สร้าง Double-Loop Learning, Triple-Loop Learning เพื่อการพัฒนาอย่างต่อเนื่อง และมีความยั่งยืน

 

 

 

 

 

หลักการของการประเมินเพื่อการพัฒนา คือ Single-loop Learning จะสะท้อนผลเพื่อไปปรับวิธีการทำงาน การเรียนรู้ที่ดีจะไม่หยุดที่ single-loop แต่ต้อง feedback เพื่อไปเปลี่ยนเป้า double-loop learning แต่จะดียิ่งขึ้นหากสามารถปรับสู่ triple loop learning ที่จะเปลี่ยนบริบท (context) ในการให้ทุนวิจัยที่สามารถปรับเปลี่ยนกฎเกณฑ์ด้านการเงิน รวมถึงระเบียบราชการต่างๆ ทำให้งานบรรลุเป้าหมายได้

• การประเมินเพื่อการเรียนรู้และการปรับตัว และนำผลไปใช้ให้เกิดประโยชน์ (utilization-focused evaluation) โดยกระบวนการมีส่วนร่วมของผู้มีส่วนได้ส่วนเสีย (stakeholders / primary intended users) ที่เกี่ยวข้อง เพื่อปรับตัวตลอดกระบวนการของโครงการ ซึ่งประกอบไปด้วย

1. ผู้สนับสนุนโครงการ (funder)

2. ผู้ดำเนินการโครงการ (operator)

3. ผู้มีส่วนได้ส่วนเสีย (stakeholders)

4. ผู้ประเมิน (evaluator & facilitator)

5. ผู้ใช้ผลการประเมิน (บุคคลหรือกลุ่มบุคคลในข้อ 1 – 3)

ผู้มีส่วนได้ส่วนเสีย (stakeholders) จะเป็นผู้ตั้งโจทย์ซึ่งจะมีทั้งโจทย์ใหญ่และโจทย์เฉพาะรอบ เพื่อนำผลไปใช้ปรับปรุงการปฏิบัติงาน โดยผู้ตั้งโจทย์ต้องมีส่วนร่วมในการตอบโจทย์ (ให้ความร่วมมือเก็บข้อมูล ร่วมตีความข้อมูล เป็นต้น)

โจทย์ที่ดีควรเน้นที่ประเด็นสำคัญ เป็นคำถามเชิงบวก ไม่จับผิด ไม่ตำหนิ เมื่อมีคำตอบสามารถนำไปใช้ปรับปรุงงานได้ทันที ช่วยให้เข้าใจมิติที่ซับซ้อนของงาน 

Stakeholders ที่ดี ควรเข้าร่วมประชุมทุกครั้ง ไม่เปลี่ยนตัวบุคคลหรือส่งผู้แทนเรียนรู้ เปิดใจพูดและรับฟัง ไม่แก้ตัวหรือปกป้องผลประโยชน์ ไม่ยึดถือความคิดเห็นของตนเป็นหลัก และมีเป้าหมายใหญ่ที่ทรงคุณค่าร่วมกัน

ทีมประเมิน DE มีหน้าที่หลักคือ ทำหน้าที่ป้อนคำถามข้อมูลและตรรกะเชิงประเมิน และสนับสนุนการตัดสินใจในกระบวนการพัฒนาโดยใช้ข้อมูล คล้ายเป็นหน่วย R&D ของหน่วยปฏิบัติที่บูรณาการเป็นเนื้อเดียวกันกับหน่วยปฏิบัติและทำให้การพัฒนานวัตกรรมเป็นเสมือนกิจกรรมวิจัยและพัฒนา (ที่มา: หนังสือ Developmental Evaluation เขียนโดย Michael Quinn Patton) ทีมประเมินที่ดี ควรเข้าใจโจทย์ใหญ่ในระดับที่ซับซ้อน ชัดเจนในโจทย์ รู้จัก Stakeholders แต่ละภาคส่วน เคารพทุกวิธีคิดทุกมุมมอง มีวิธีโน้มน้าวเป้าหมายที่หลากหลายสู่เป้าหมายร่วม สามารถขมวดความคิดที่ฟุ้งกระจายเป็นข้อเขียนที่ชัดเจนและชำนาญในการเชื่อมโยงความคิดได้ และเชี่ยวชาญใน research/evaluation methodology วิธีเก็บข้อมูล ประมวลข้อมูล รวมถึงการนำเสนอข้อมูล 

• เครื่องมือหนุนการเรียนรู้ร่วมกันผ่านการปฏิบัติ (interactive learning through action) และเกิด KM (Knowledge Management) ร่วมกัน ผู้ปฏิบัติงานต้องมี experience –data –information –knowledge (TK –tacit knowledge) ในการเก็บข้อมูลมาประมวลผลและตีความร่วมกันด้วย collective reflection / AAR (After Action Review) -explicit knowledge (generalization) เพื่อนำไปใช้ปรับปรุงงานหรือปรับใช้ในสถานการณ์อื่นได้ ซึ่งจะทำให้การทำงานเป็นการเรียนรู้ เกิดชุมชนการเรียนรู้ การพัฒนาคน

คำถามสำหรับการประเมิน DE ประกอบด้วย 1) เป้าหมายของงานคืออะไร 2) บรรลุผลระดับใด 
3) รู้ได้อย่างไรว่าบรรลุผลเช่นนั้น และ 4) ความรู้นี้มีผลต่อการดำเนินการขั้นตอนต่อไปอย่างไรบ้าง

จากการสรุปเนื้อหาในหนังสือ “Developmental Evaluation Exemplars” ซึ่งเขียนโดย Michael Quinn Patton, Kate McKegg, and Nan Wehipeihana ได้อธิบายลักษณะของ DE ไว้ 8 ประการ ประกอบด้วย 1) เป้าหมายเพื่อการพัฒนา 2) ประเมินอย่างเข้มงวดและจริงจัง 3) เน้นการใช้ประโยชน์ 4) มุ่งนวัตกรรม 5) การตระหนักถึงความซับซ้อน 6) คิดกระบวนระบบ 7) ร่วมสร้าง(co-creation) และ 8) feedback ให้เหมาะสมกับเวลา 

เป้าหมายของ DE มีดังนี้

1) ช่วยให้บรรลุเป้าหมาย ในระดับ innovation เชิงระบบ  เชิงภาพใหญ่ 

2) ดำเนินโครงการโดยใช้พลัง systems thinking และ complexity กล้าฝ่าฟันความไม่ชัดเจน และความไม่แน่นอน

3) สร้างพื้นที่การเรียนรู้ในลักษณะ double-loop learning / triple-loop learning เพื่อก้าวสู่ความสำเร็จ 

4) นักพัฒนากับนักประเมิน ต้องทำงานร่วมกันเป็นทีม โดยนักพัฒนาใช้ evaluative thinking / attitude เพื่อ do –learn –adapt หรือ PDCA แบบครบวงจร จนบรรลุผลสำเร็จ

เงื่อนไขความสำเร็จของ DE มี 10 ประการ ได้แก่ มุ่งสร้างนวัตกรรม กล้าเสี่ยง อดทนต่อความไม่ชัดเจน คาดเดายาก เข้าใจ systems thinking และ complexity ไวต่อบริบทและวัฒนธรรม เน้นลงมือทำเพื่อเรียนรู้และปรับตัว ยืดหยุ่น ผู้นำเข้าใจ DE แหล่งทุนเข้าใจ DE และ มุ่งมั่นดำเนินการพัฒนาอย่างต่อเนื่อง