สาระในตอนที่ ๔ นี้ ผมตีความจากหนังสือ Developmental Evaluation Exemplars : Principles and Use(2018) บทที่ 1 State of the Art and Practice of Developmental Evaluation หน้า - เป็นบทที่ M. Q. Patton เขียนเอง และช่วยให้ความกระจ่างเรื่อง DE ได้มาก
DE เป็นเครื่องมือหนึ่ง เพื่อการทำให้โลกนี้ดีขึ้น ผ่านนวัตกรรมและการเปลี่ยนแปลงเชิงระบบ และเมื่อเป็นรูปแบบหนึ่งของการประเมิน ที่มีสารพัดรูปแบบสารพัดชื่อ ก็มีความสับสนเข้าใจยาก M. Q. Patton จึงรวบรวมคำถามสำคัญๆ ๑๐ คำถามมาตอบเพื่อไขความกระจ่าง
องค์ประกอบสำคัญของ DE มีอะไรบ้าง
ในท่ามกลางสารพัดชื่อ สารพัดรูปแบบของการประเมิน มีการประเมินที่มักสับสนกับ DE เช่น theory-driven evaluation, participatory evaluation, empowerment evaluation, utilization-focused evaluation แยก DE ออกมาได้เด่นชัด ด้วยลักษณะ ๘ ประการคือ
จะเสนอรายละเอียดของแต่ละคุณลักษณะของ DE ในบันทึกตอนที่ ๕
DE แตกต่างจากการประเมินแบบอื่นอย่างไร
DE แตกต่างจาก formative assessment, organizational development, และ M&E action research มีรายละเอียดโดยสังเขปต่อไปนี้
เปรียบเทียบกับ formative assessment
เขาบอกว่า formative assessment (FA) ร่วมกับ summative evaluation (SE) ได้ครอบครองโลกของการประเมินมาประมาณ ๔๐ ปี จึงเกิด DE ขึ้น คนจึงสับสน เพราะ FA ก็มีเป้าหมายชี้เป้าของการพัฒนา ผ่านการประเมินแล้ว feedback เช่นเดียวกัน
ความแตกต่างอยู่ที่ FA เน้นประเมินและให้ข้อมูลป้อนกลับเพื่อ “ปรับปรุง” (improve) โครงการพัฒนา ในขณะที่ DE เน้นประเมินและให้ข้อมูลป้อนกลับเพื่อ “เปลี่ยนแปลง” (adaptive development) โครงการ กล่าวใหม่ว่า FA ทำงานภายใต้กรอบความคิด และกรอบการทำงาน เดิมที่กำหนดไว้ ในขณะที่ DE ทำงานเพื่อแสวงหากรอบใหม่ ภายใต้การค้นพบข้อมูลใหม่ที่ผุดบังเกิดขึ้นระหว่างการดำเนินโครงการ
เปรียบเทียบกับ action research
ความแตกต่างอยู่ที่เป้าหมายใหญ่ (purpose)
Action research เน้นที่การทำความเข้าใจและแก้ปัญหา ส่วน DE เน้นที่การสร้างนวัตกรรมและเปลี่ยนแปลงเชิง ระบบ
เปรียบเทียบกับ M&E(monitoring & evaluation)
M&E เน้นประเมินตามตัวชี้วัดที่กำหนดไว้อย่างชัดเจนล่วงหน้า ในขณะที่ DE เน้นเสาะหาปัจจัยสำคัญที่เกิดขึ้นโดยไม่คาดหมาย และพัฒนาการที่ผุดบังเกิด กล่าวใหม่ว่า M&E ดำเนินการตามแนวคิด simple & linear ในขณะที่ DE ดำเนินตามแนวความคิด complex & adaptive systems
เปรียบเทียบกับ Organizational Development
OD เน้นพัฒนาประสิทธิผลและประสิทธิภาพขององค์กร ในขณะที่ เน้นเปลี่ยนแปลงองค์กรในระดับสร้างนวัตกรรม หรือ transform องค์กร เลยไปจากประเด็นประสิทธิผลและประสิทธิภาพ
DE ในฐานะการกำหนดกรอบความคิดแบบปรับต่อเนื่อง
หนังสือเล่มนี้บอกว่า DE ใช้กรอบความคิด ๓ กรอบคือ ความเป็นพลวัต การประเมิน และการเป็นที่ปรึกษา โดยที่กรอบความคิดในการทำงานของทีมปฏิบัติ กับของทีมประเมิน มีการพัฒนาเปลี่ยนแปลงต่อเนื่อง เป็นการเปลี่ยนแปลงในระดับ “ชุดความคิด” (mental model)
ความสัมพันธ์ระหว่าง DE กับ Development Evaluation เป็นอย่างไร
โปรดสังเกตว่าตัวอักษรต่างกันที่มีตัว al หรือไม่ แต่ความหมายแตกต่างกันโดยสิ้นเชิง development evaluation มีมาก่อนช้านาน ใช้ประเมินโครงการช่วยเหลือการพัฒนาที่ประเทศรวยหรือองค์การนานาชาติ ให้ความช่วยเหลือประเทศด้อยพัฒนา เป็นการประเมินว่าโครงการดำเนินการได้ผลตามที่กำหนดไว้หรือไม่ ซึ่งเป็นการประเมินตามชุดความคิด simple & linear
เพราะ DE กับ development evaluation เขียนแตกต่างกันเพียงมี al หรือไม่ ทำให้สับสนง่าย จึงมีผู้เสนอทางเลือกชื่อใหม่ของ DE คือ Real-time evaluation, Emergent evaluation, Action evaluation, Adaptive evaluation ซึ่งสะท้อนภาพของ DE ได้เช่นเดียวกัน
การคิดกระบวนระบบ (systems thinking) และทฤษฎีความซับซ้อน (complexity theory) มีผลต่อการดำเนินการ DE อย่างไร
เป้าหมายของ DE คือ ร่วมสร้างการเปลี่ยนแปลงระบบ และในระหว่างประเมิน ก็ใช้วิธีคิดกระบวนระบบ (systems thinking) และทฤษฎีความซับซ้อน ซึ่งหมายถึงมองปัจจัยต่างๆ ที่เกี่ยวข้องว่าปัจจัยเหล่านั้นมีปฏิสัมพันธ์กัน ปัจจัยเหล่านั้น ไม่ได้แยกกัน แต่มีปฏิสัมพันธ์กันอย่างซับซ้อน ส่งผลให้กิจกรรมของโครงการที่กำลังดำเนินการมีสิ่งที่ไม่คาดหมายเกิดขึ้นได้เสมอ
เมื่อใช้ชุดความคิดดังกล่าว นักประเมินแนว DE จึงต้องมีความสามารถในการทำความเข้าใจปฏิสัมพันธ์ที่ซับซ้อนเหล่านั้น โดยใช้มุมมองหลายมุมมองไปพร้อมๆ กัน รวมทั้งมองว่าขอบเขตของระบบต่างๆ โดยเฉพาะระบบที่กำลังทำงาน มีการเปลี่ยนขอบเขตอยู่ตลอดเวลา และเชื่อว่าการเปลี่ยนแปลงเชิงพลวัตเช่นนั้น มีการผุดบังเกิด (emergence) ของสิ่งใหม่ที่มีคุณค่าเกิดขึ้นได้เสมอ นักประเมินแบบ DE จึงต้องฝึกทักษะในการมองเห็นสิ่งที่ผุดบังเกิดนั้น เอาไปนำเสนอต่อวงเสวนาของผู้เกี่ยวข้อง ว่าสิ่งที่สังเกตเห็นนั้นมีจริงหรือไม่ หากมีจริงมันหมายความว่าอย่างไร มันมีคุณค่าต่อการสร้างนวัตกรรมที่เราต้องการอย่างไร
มุมมองที่เห็นความซับซ้อน
การมองนวัตกรรม ผ่านแว่นของความซับซ้อน จะนำไปสู่การวางกรอบใหม่ของการศึกษา และการประเมินนวัตกรรมสังคม นวัตกรรมเป็นเรื่องที่ผลลัพธ์ไม่แน่นอน และผู้เกี่ยวข้องมองเห็นต่างกัน โยงสู่ธรรมชาติของความซับซ้อน และพลวัตเชิงระบบ อันเป็นระบบนิเวศที่เอื้อต่อการก่อเกิดนวัตกรรม
DE จึงต้องการสภาพที่ผู้เกี่ยวข้อง เข้าใจและเห็นคุณค่าของความซับซ้อน ความไม่แน่นอน ความไม่เห็นพ้อง ละร่วมกันนำมาสร้างคุณค่าต่อการเกิดนวัตกรรม
DE หนุนให้เกิดนวัตกรรมในสภาพของความซับซ้อนได้อย่างไร
DE หนุนนวัตกรรมด้วยกลไกสำคัญ ๒ ประการคือ (๑) ให้ข้อมูล เพื่อให้มีความเข้าใจ และมีการจัดการความไม่แน่นอน (๒) เอื้อให้เกิดกระบวนการ “ร่วมสร้าง” (co-creation) ระหว่างผู้ปฏิบัติงานกับนักประเมิน
เพื่อใช้ DE ได้อย่างมีพลัง ผู้เกี่ยวข้องต้องเข้าใจ ทฤษฎีระบบ (Systems Theory) และทฤษฎีความซับซ้อน (Complexity Theory) ว่าเป็นคนละเรื่อง แต่มีความซ้อนทับกัน โดยทฤษฎีระบบเน้นที่ ปฏิสัมพันธ์เชื่อมโยง (interrelationship), วิธีมอง (perspectives), และขอบเขต (boundaries) ส่วนทฤษฎีความซับซ้อนเน้นที่ การผุดบังเกิด (emergence), ความไม่เป็นเส้นตรง (nonlinearity), พลวัต (dynamism), และการปรับตัว (adaptation)
DE ใช้วิธีการอะไรบ้าง
มีคำตอบ ๕ ประการคือ
ในเรื่องกรอบคำถาม (inquiry framework) ก็เช่นเดียวกัน อาจใช้กรอบใดก็ได้ตามที่เหมาะสม เช่น triangulated learning, adaptive cycle, appreciative inquiry, reflective practice, values-driven inquiry, wicked questions, outcome mapping, systematic risk management, forcedfield analysis, actual-ideal comparisons, principles-focus evaluation, outcome harvesting เป็นต้น
มีเงื่อนไขอะไรบ้างที่ช่วยให้ DE ประสบผลสำเร็จ
เงื่อนไขความสำเร็จของ DE คือ ความพร้อม ๑๐ ประการ ได้แก่
สถานการณ์ที่ไม่เหมาะต่อการใช้ DE ได้แก่
จะเป็นนักประเมินแนว DE ที่เก่งได้อย่างไร
คำตอบคือ ต้องมีสมรรถนะพื้นฐานของนักประเมินโดยทั่วไป เพิ่มด้วยขีดความสามารถในการทำงานร่วมกับผู้รับการประเมิน คือผู้ทำงานในโครงการนวัตกรรม และผู้ทำงานในหน่วยงานสนับสนุนทุน เน้นที่ทักษะด้านปฏิสัมพันธ์ และด้านการเป็นกระบวนกร เปรียบเทียบนักประเมิน กับนักประเมินทั่วไปใน ๖ สมรรถนะสำคัญได้ดังต่อไปนี้
สมรรถนะสำคัญ ๖ ประการ | นักประเมินทั่วไป | นักประเมิน DE |
ปฏิบัติการวิชาชีพ | เข้าใจและปฏิบัติตามมาตรฐานและหลักการของวิชาชีพ | เน้นที่การจัดการพื้นที่ชายขอบของปฏิบัติการวิชาชีพ |
การวิเคราะห์สถานการณ์ | เข้าใจบริบทและการเมือง ของการประเมิน รวมทั้งเข้าใจข้อจำกัดต่อการประเมิน ความขัดแย้ง และการใช้ผลการประเมิน | ต้องมีสามารถแยกแยะสถานการณ์ ๓ แบบ คือ simple, complicated, หรือ complex และสามารถประยุกต์ใช้หลักการ complexity ในการประเมิน |
การจัดการโครงการ | มีความสามรถในการจัดการโครงการประเมิน ตั้งแต่ต้นจนจบ ได้แก่ เจรจาสัญญา งบประมาณ จัดการทรัพยากรที่ต้องการ และดำเนินการการประเมินให้ลุล่วง | ความสามารถในการจัดการและปรับตัวการประเมินให้ใช้พลังของการผุดบังเกิด ทั้งปรับการออกแบบการประเมิน การเก็บข้อมูล และให้ feedback อย่างทันกาล ตั้งรับข้อมูลเพิ่มได้ ซึ่งก็ต้องจัดการงบประมาณอย่างยืดหยุ่น |
ปฏิบัติการใคร่ครวญสะท้อนคิด | การสะท้อนคิดเป็นส่วนหนึ่งของการประเมิน และเป็นเครื่องมือพัฒนาตนเอง | ปฏิบัติการใคร่ครวญสะท้อนคิดเป็นทั้งเครื่องมือเก็บข้อมูล และเป็นเครื่องมือของการประเมิน และการพัฒนาตนเอง กิจกรรมสำคัญคือ reflexivity ซึ่งหมายถึงการสะท้อนคิดถึงบทบาท และความรับผิดชอบของตนเอง ในบริบทและกระบวนการที่จำเพาะ |
สมรรถนะด้านปฏิสัมพันธ์ระหว่างบุคคล | ต้องมี “ทักษะด้านคน” เพื่อทำงานกับภาคีที่หลากหลาย ทั้งการสื่อสารด้วยวาจา และเป็นลายลักษณ์ การต่อรอง และทักษะข้ามวัฒนธรรม | ทักษะการ “ร่วมสร้าง” (co-creation) กับผู้รับการประเมิน เน้นที่ความสัมพันธ์ ปฏิสัมพันธ์ระหว่างคน คู่ขนานไปกับระเบียบวิธีด้านการประเมิน เพื่อให้ได้รับผลที่ตรงตามความต้องการและมีความน่าเชื่อถือ |
มีผู้เสนอว่า นักประเมินแนว DE ต้องมีศิลปะของการชักจูง (the art of the nudge) ๕ ประการ เพื่อช่วยให้ตนเองมองเห็นโอกาสเข้าไปส่งเสริมการเรียนรู้และปรับตัว ผ่านการให้ feedback ณ กาละที่ได้จังหวะ คือ (๑) ภาวะผู้นำเชิงรับใช้ (servant leadership) (๒) รับรู้พลังของโครงการนวัตกรรม (๓) สนับสนุนพื้นที่ที่ทุกฝ่ายเข้าไปดำเนินการ (๔) แก้เงื่อนปม ซ้ำแล้วซ้ำเล่า (๕) เอาใจใส่โครงสร้าง
DE สนองข้อเรียกร้องต่อความรับผิดรับชอบได้อย่างไร
ความรับผิดรับชอบ (accountability) ของ DE ไม่เพียงรับผิดรับชอบต่อการบรรลุเป้าหมายของโครงการพัฒนาเท่านั้น แต่ยังรวมความรับผิดรับชอบให้เกิดการเรียนรู้ (learning) และการปรับตัว (adaptation) อีกด้วย
สรุปได้ว่า ความรับผิดรับชอบของ DE มี ๓ ระดับ ดังต่อไปนี้
ทำไม DE จึงได้รับความสนใจและขยายตัวอย่างรวดเร็ว
หลังการตีพิมพ์หนังสือ Developmental Evaluation : Applying Complexity Concepts to Enhance Innovation and Use (2012) ก็พบว่า ได้รับความนิยมอย่างรวดเร็ว M. Q. Patton อธิบายว่า เกิดจากสาเหตุ ๔ ประการคือ (๑) เป็นยุคที่โลกต้องการนวัตกรรมเชิงสังคม (๒) เป็นยุคของการเปลี่ยนแปลงเชิงระบบ (๓) ความตระหนักในความซับซ้อนของกิจการ (๔) มีการยอมรับ DE ว่าเป็นวิธีประเมินที่น่าเชื่อถือ
เป็นธรรมชาติว่า สิ่งใดเป็นที่นิยม ของปลอมจะตามมา จึงมีคำแนะนำข้อพึงระวังเรื่อง DE ห้าประการดังต่อไปนี้
ประเด็น | แนวทางของ DE | แนวโน้มที่จะใช้ DE อย่างผิดๆ | คำแนะนำ |
การผุดบังเกิด(emergence) การผุดบังเกิดของนวัตกรรมมาจากการร่วมอยู่ในกระบวนการสร้างการเปลี่ยนแปลงอย่างใกล้ชิด มีการหนุนการเรียนรู้และการปรับตัว |
ปล่อยให้การประเมินมีวิวัฒนาการไปตามธรรมชาติ เมื่อการดำเนินกิจกรรมพัฒนาเคลื่อนไป DE ก็มีการออกแบบ เก็บข้อมูล และให้ feedback ไปตามนั้น | ใช้ DE เป็นข้ออ้าง เพื่อจะได้ไม่วางแผนดำเนินการ อ้างว่าจะคิดแผนเมื่อกิจกรรมเคลื่อนไป เพื่อความสะดวกในการดำเนินโครงการโดยหลีกเลี่ยงการคิดโมเดลอย่างมีเหตุผล หลีกเลี่ยงการคิด theory of change หรือการออกแบบการประเมินที่เหมาะสม | แยกแยะสถานการณ์ ระหว่างสถานการณ์ที่มีข้อมูลเพียงพอที่จะใช้การวางแผนและประเมินแบบอนุรักษ์ กับสถานการณ์ที่ซับซ้อนที่ควรใช้การดำเนินกิจกรรมเชิงนวัตกรรม เพื่อให้มีการผุดบังเกิด และใช้ DE เป็นเครื่องมือช่วย |
ดำเนินการแบบลูกผสม(hybrid) ใช้ DE ร่วมกับการประเมินแบบอื่น เช่น outcome mapping หรือร่วมกับการประเมินเพื่อเป้าหมายอื่น เช่น formative assessment และ summative evaluation |
ดำเนินการประเมินตามสถานการณ์และบริบท | เกิดความสับสนในการใช้เครื่องมือมากมายหลากหลาย กลายเป็นทาสของเครื่องมือ | ดำเนินการออกแบบและบูรณาการเครื่องมืออย่างชาญฉลาด และเข้าใจจุดแข็งและจุดอ่อนของแต่ละวิธี |
ใช้ DE เพียงเพื่อการค้นหาและทดลองเบื้องต้น | เน้นการพัฒนาและปรับตัวต่อเนื่อง มีความเข้าใจว่า DE แตกต่างจาก formative assessment (FA) และ summative evaluation (SE) | ใช้แบบไม่ต่อเนื่อง หน่วยสนับสนุนทุนขอให้ใช้ DE โดยไม่รู้จัก DE อย่างแท้จริง หลังจากใช้ DE ไปเพียงระยะหนึ่ง ก็เรียกร้องรายงานการประเมินแบบ FA และ SE | นักประเมินแบบ DE ต้องสามารถอธิบายเป้าหมาย และลักษณะจำเพาะของ DE และย้ำว่า DE จะเกิดประโยชน์ต้องใช้อย่างต่อเนื่องในกระบวนการทำงาน นักประเมินต้องทำงานร่วมกับผู้บริหารในการสนับสนุนการใช้ DE อย่างมีพลัง และอย่างต่อเนื่อง |
สนองตอบประกาศให้เสนอโครงการ | เป็นไปไม่ได้ที่จะเขียนข้อเสนอโครงการโดยมีการออกแบบการประเมินอย่างชัดเจนแน่นอนตายตัว เพราะวิธีประเมินที่เหมาะสมจะเกิดขึ้นเมื่อเกิดนวัตกรรมผุดบังเกิดขึ้น | ปฏิเสธที่จะเสนอการประเมิน เนื่องจากในประกาศไม่ระบุรูปแบบการประเมินอย่างชัดเจน | เปลี่ยนจากเรียกร้องข้อเสนอที่มีรูปแบบวิธีการชัดเจน เป็นให้เสนอแนวคิด และเสนอหลักฐานว่ามีสมรรถนะในการดำเนินการ DE อย่างเพียงพอ และระบุว่า การออกแบบ DE จะผุดบังเกิดออกมาอย่างไร |
งบประมาณเพื่อ DE | มีความเข้าใจว่า เมื่อวิธีการประเมินแบบ DE ผุดบังเกิดออกมา จึงจะรู้งบประมาณที่จะใช้ดำเนินการประเมิน ข้อเสนองบประมาณ ใช้เสนอทางเลือกหลายแนวทางในการตั้งคำถาม ที่จะนำไปสู่การเก็บข้อมูลที่ผุดบังเกิด เพื่อเสนอแนะการตัดสินใจ | เสนองบประมาณที่ชัดเจน ซึ่งจะทำให้โครงการขาดความยืดหยุ่น การปรับตัว และการสนองตอบต่อสิ่งที่ผุดบังเกิด | กำหนดงบประมาณที่ใช้ทำ DE เป็นระยะๆ แทนที่จะตั้งงบประมาณทีเดียวทั้งโครงการ เตรียมพร้อมที่จะเสนองบประมาณเป็นช่วงๆ ตามพัฒนาการของนวัตกรรมที่ผุดบังเกิดขึ้น |
DE มีพัฒนาการเพิ่มเติมอย่างไรบ้างหลังการตีพิมพ์หนังสือ โดย Patton ที่ตีพิมพ์ในปี ค.ศ. 2011
พัฒนาการแรกคือ การประเมินแนวยึดหลักการ (principle-focused evaluation) ยึดหลักการที่ใช้การได้ดีเป็นหลัก เปิดโอกาสให้ปรับวิธีการได้ตามสถานการณ์ หรือตามบริบท ดังกรณีตัวอย่าง ๑๒ กรณี ในหนังสือ Developmental Evaluation Exemplars : Principles and Use(2018) ที่มีการสังเคราะห์ตีความเป็นหลักการในบทที่ ๑๔ ซึ่งเราจะได้ทำความเข้าใจกันต่อไป
พัฒนาการหลักของ DE เป็นไปในแนวของวิธีประยุกต์ใช้หลักการโดยใช้ข้อมูลหลักฐาน (evidence-based application) ข้อเรียนรู้สำคัญคือ หลักการที่ใช้ชี้นำนวัตกรรมในโครงการพัฒนา กับหลักการที่ใช้ในการประเมินแบบ DE ต้องสอดคล้อง (align) กัน
วิจารณ์ พานิช
๘ ส.ค. ๖๓
DE น่าะเหมาะ นำไป ใช้ใน MiniUKM นะครับ อาจารย์ หมอ วิจารณ์