สาระในตอนที่ ๓ นี้ ผมตีความจากหนังสือ Developmental Evaluation : Applying Complexity Concepts to Enhance Innovation and Use (2012) บทที่ 1 Developmental Evaluation Defined and Positioned หน้า ๒๐ - ๒๖
ความแตกต่างระหว่าง DE กับการประเมินโดยทั่วไปมี ๗ ประการ คือ (๑) เป้าประสงค์ (๒) จุดโฟกัส (๓) วิธีการ (๔) บทบาทและความสัมพันธ์ (๕) ผลลัพธ์และผลกระทบ (๖) การปฏิบัติต่อความซับซ้อน (๗) คุณสมบัติของนักประเมิน โดยมีรายละเอียดความแตกต่างดังในตาราง
| การประเมินโดยทั่วไป | การประเมินแบบ DE ที่มีสมมติฐานความซับซ้อน | |
| ๑ เป้าประสงค์และสถานการณ์ |
||
| ๑.๑ เป้าประสงค์ของการประเมิน | เน้นประเมินเพื่อปรับปรุง (formative) และประเมินผลลัพธ์ (summative) | เพื่อสนับสนุนการพัฒนานวัตกรรม (innovation) และเพื่อการปรับการดำเนินการ (intervention) ในสภาพแวดล้อมที่เป็นพลวัต |
| ๑.๒ สถานการณ์ที่เหมาะสม | สถานการณ์ที่มั่นคง ควบคุมได้ รู้ต้นตอของปัญหา มีหลักการของการดำเนินการชัดเจน รู้เป้าหมายสุดท้าย ตัวแปรที่มีผลกระทบต่อ outcome ควบคุมได้ วัดได้ และทำนายได้ | สภาพแวดล้อมมีความซับซ้อนและเป็นพลวัต ไม่รู้วิธีแก้ปัญหาหลัก มีแนวทางดำเนินการได้หลากหลายวิธี แต่ไม่มั่นใจว่าควรใช้วิธีใด ต้องการการสำรวจ การทดลอง และนวัตกรรม ในการดำเนินการ |
| ๑.๓ ชุดความคิดหลัก | ค้นหาว่ารูปแบบการดำเนินการตามโมเดลที่กำหนด ได้ผลหรือไม่ เน้นที่ประสิทธิผล ประสิทธิภาพ ผลกระทบ และโอกาสขยายผล | ค้นหาแนวทางที่เป็นไปได้ สร้างแนวคิดและทดสอบผล ทดลองโมเดลก่อนเป็นทางการ เป็นการประเมินแบบ pre-formative และไม่มีการประเมินผล (summative) แต่คาดหวังการเคลื่อนสู่นวัตกรรมและการพัฒนา ไม่หวังได้รูปแบบดำเนินการตายตัว |
| ๒ จุดโฟกัสและเป้าหมายของการประเมิน |
||
| ๒.๑ เป้าหมายของการเปลี่ยนแปลง | ผลกระทบ (outcomes) ที่กำหนด ต่อกลุ่มผู้ได้รับผลที่กำหนด, การเปลี่ยนแปลงพฤติกรรมส่วนบุคคล และตัวชี้วัดการบรรลุผลสำเร็จ | การเปลี่ยนแปลงเชิงระบบ ตั้งแต่ระบบย่อยระดับท้องถิ่น ไปจนถึงการเปลี่ยนขาด (disruptive innovation) ของระบบสังคมภาพใหญ่ ในปัญหาใหญ่ของบ้านเมือง |
| ๒.๒ พลังขับเคลื่อนการดำเนินการ | เน้นที่ผลกระทบ ตัวระบบถือเป็นบริบท | เน้นการเปลี่ยนระบบ ส่วนผลกระทบเป็นสิ่งผุดบังเกิดจากพลวัต |
| ๒.๓ จุดโฟกัสของการประเมิน |
Formative: เพื่อปรับปรุงโมเดลการดำเนินการ เตรียมพร้อมรับการประเมินผล Summative : ตัดสินผลการดำเนินการว่าคุ้มค่าหรือไม่ สำเร็จหรือล้มเหลว |
Developmental : ให้ feedback ตรงตามกาละ เพื่อหนุนการพัฒนา สร้างการเรียนรู้หนุนการกระทำในกระบวนการพัฒนา |
| ๒.๔ แนวทางการประเมิน | การประเมินเป็นแบบ top-down (ขับเคลื่อนด้วยทฤษฎี) หรือ bottom-up (มีส่วนร่วม) | การประเมินช่วยนวัตกรฟันฝ่าพื้นที่ที่ไม่ชัดเจนที่กระแส top-down กับ bottom-up มากระทบกัน |
| ๓ โมเดลและวิธีการ |
||
| ๓.๑ โมเดลที่ใช้ | ใช้ cause – effect หรือ linear model มี input, process, output ที่ชัดเจน ประเมินผลที่เกิดจากโมเดล คิดจากเหตุไปหาผล | ออกแบบการประเมินโดยใช้ design thinking เพื่อจับประเด็นและทำแผนที่ของพลวัตเชิงระบบที่ซับซ้อนและเปลี่ยนแปลง ค้นหาความเชื่อมโยงที่ผุดบังเกิด นำข้อมูลที่ตรวจจับได้ไปคิดย้อนทางไปสู่ต้นทางคือต้นเหตุ คือคิดจากผลไปหาเหตุ |
| ๓.๒ ความเข้าใจผิดๆ (counterfactuals) | เอาใจใส่ความเข้าใจผิดๆ ว่าเป็นปัจจัยสำคัญต่อความสำเร็จ | ความเข้าใจผิดๆ เป็นส่วนหนึ่งของความซับซ้อน (complexity) ซึ่งจะมีปฏิสัมพันธ์กับปัจจัยอื่นๆ อย่างซับซ้อน ตามความเป็นจริง |
| ๓.๓ วิธีวัด | วัดผลสัมฤทธิ์เทียบกับเป้าหมายที่กำหนดไว้ล่วงหน้า โดยเป้าหมายนั้นมีลักษณะ SMART (specific, measurable, achievable, realistic, time-bound) | พัฒนากลไกติดตามและวัดทันใดเมื่อผลกระทบเริ่มโผล่ อาจเปลี่ยนแปลงสิ่งที่วัดและวิธีวัดเมื่อเหตุการณ์เปลี่ยนไป เมื่อพบทางสามแพร่งมีการตัดสินใจสู่การสร้างนวัตกรรม |
| ๓.๔ เอาใจใส่ผลที่ไม่คาดคิดไว้ก่อน | แสดงท่าทีรับรู้อย่างเสียไม่ได้ต่อผลดี และผลร้าย ที่ไม่คาดหมาย | คาดหวังสิ่งที่ไม่คาดคิด การประเมินมุ่งจ้องหาสิ่งที่ไม่คาดไว้ก่อน และสิ่งผุดบังเกิด |
| ๓.๕ ความรับผิดชอบออกแบบการประเมิน | ผู้ประเมินเป็นผู้ออกแบบ และควบคุมการประเมิน | ผู้ประเมินร่วมกับผู้ปฏิบัติงานในการออกแบบการประเมินที่หมาะสมต่อกระบวนการสร้างนวัตกรรม เมื่อมองจากมุมของหลักการ และจากมุมมองขององค์กร |
| ๓.๖ ปรัชญาของวิธีประเมิน | เน้นความถูกต้องแม่นยำของวิธีการประเมินเป็นหลัก การใช้ประโยชน์เป็นรอง เน้นคุณภาพตามมาตรฐานของงานวิจัย | เน้นการใช้ประโยชน์ เลือกวิธีการตามความต้องการใช้หนุนการพัฒนา |
| ๓.๗ กระบวนการตีความ | ใช้นิรนัย (deduction) เป็นหลัก ใช้อุปนัย (induction) ในบางโอกาส ซึ่งหมายความว่าเน้นการตีความข้อมูล ให้ความสำคัญต่อบริบทน้อย | ขยายหรือเชื่อมโยงความหมาย (abduction) สู่การปฏิบัติ เพื่อนำผลประเมินสู่การใช้ประโยชน์ |
| ๔ บทบาทและความสัมพันธ์ | ||
| ๔.๑ ท่าทีของผู้ประเมิน | ผู้ประเมินเป็นอิสระ เพื่อความน่าเชื่อถือ ไม่ว่าจะเป็นผู้ประเมินที่อยู่ภายในทีมปฏิบัติงาน หรืออยู่ภายนอก | ผู้ประเมินเป็นส่วนหนึ่งของทีมพัฒนานวัตกรรม ทำหน้าที่กระบวนกรและโค้ชของกระบวนการเรียนรู้ นำเอาวิธีคิดเชิงประเมินมาสู่ทีมงาน ความน่าเชื่อถืออยู่ที่ปฏิสัมพันธ์แบบเคารพซึ่งกันและกัน |
| ๔.๒ กลไกของความรับผิดรับชอบ (accountability) | ความรับผิดรับชอบอยู่นอกทีมประเมิน และนอกทีมทำงาน คืออยู่ที่แหล่งทุน โดยมีเกณฑ์ประเมินที่ชัดเจน | ความรับผิดรับชอบอยู่ที่ทีมประเมินเป็นหลัก จากการมีความมุ่งมั่น และเห็นคุณค่าต่อการสร้างสรรค์ แหล่งทุนแสดงความรับผิดรับชอบผ่านการร่วมเรียนรู้และพัฒนา |
| ๔.๓ ฐานะของการประเมิน ในการบริหารองค์กร | การประเมินเป็นส่วนหนึ่งของการปฏิบัติตามกฎเกณฑ์ มอบหมายให้กลไกภายนอกดำเนินการ | การประเมินเป็นภารกิจด้านภาวะผู้นำ เพื่อหล่อเลี้ยงภาวะผู้นำในการทดสอบความเป็นจริง การมุ่งผลลัพธ์ และเน้นการเรียนรู้ |
| ๕ ผลและผลกระทบของการประเมิน |
||
| ๕.๑ ข้อค้นพบจากการประเมินที่ต้องการ | Best practices ที่ผ่านการตรวจสอบ และใช้การได้ข้ามกาละและเทศะ | หลักการสำหรับใช้ชี้นำภาคปฏิบัติ ที่สามารถปรับใช้ได้ในบริบทของพื้นที่ |
| ๕.๒ การนำไปใช้ขยายผล | การนำ best practice ไปใช้ขยายผลให้ได้ผล ต้องปฏิบัติตามรายละเอียดอย่างเคร่งครัด | การนำหลักการไปใช้ขยายผลต้องปรับให้เหมาะต่อบริบทของพื้นที่ |
| ๕.๓ แนวทางเสนอรายงาน | รายงานเชิงวิชาการ เป็นทางการ เป็นเล่มหนา ใช้ภาษาของบุรุษที่สาม | เน้นรายงานเป็น feedback รวดเร็วฉับพลัน ใช้ภาษาของบุรุษที่หนึ่ง |
| ๕.๔ ผลกระทบของการประเมิน ต่อวัฒนธรรมองค์กร | บ่อยครั้งที่การประเมินนำไปสู่ความกลัวล้มเหลว | การประเมินนำไปสู่ความกระหายใคร่เรียนรู้ |
| ๕.๕ ขีดความสามารถด้านการประเมินที่พัฒนาขึ้นจากกระบวนการประเมิน | ไม่ใช่เป้าหมาย ตัวเป้าหมายคือการได้รับผลการประเมินที่ดี ผ่านวิธีการประเมินที่เอาจริงเอาจัง | กระบวนการประเมิน นำไปสู่การสร้างและสั่งสมขีดความสามารถในการคิดและการมีปฏิสัมพันธ์กันเชิงประเมิน |
| ๖ ท่าทีต่อความซับซ้อน (complexity) | ||
| ๖.๑ ท่าทีต่อความไม่แน่นอน (uncertainty) | มุ่งให้มีความแน่นอนและคาดการณ์ได้มากที่สุด | คาดหวังความไม่แน่นอนและคาดเดาไม่ได้ ซึ่งเป็นธรรมชาติของสถานการณ์ที่ซับซ้อนและเป็นพลวัต |
| ๖.๒ ท่าทีต่อการควบคุม (control) | ผู้ประเมินพยายามควบคุมการออกแบบการประเมิน และกระบวนการประเมิน | ผู้ประเมินพยายามไม่ควบคุม อยู่กับสิ่งที่เผยตัวออกมาและตอบสนองตามความเหมาะสม อย่างคล่องตัว |
| ๗ คุณภาพของวิชาชีพประเมิน |
||
| ๗.๑ คุณลักษณะสำคัญของผู้ประเมิน | แม่นด้านวิธีวิทยา ประเมินจริงจัง อิสระ น่าเชื่อถือต่อบุคคลภายนอกและต่อแหล่งทุน แม่นยำด้านการวิเคราะห์และการคิดอย่างมีวิจารณญาณ | ยืดหยุ่นด้านวิธีวิทยา เลือกสรรและปรับตัว, คิดกระบวนระบบ คือมีดุลยภาพระหว่างคิดสร้างสรรค์กับคิดอย่างมีวิจารณญาณ, อดทนต่อความไม่ชัดเจน, เปิดรับและคล่องแคล่ว, มีทักษะด้านการทำงานเป็นทีม และทักษะด้านคน คือมีความสามารถในการเป็นกระบวนกรทำกิจกรรมใคร่ครวญสะท้อนคิดกลุ่ม เพื่อเสนอแนะมาตรการ |
| ๗.๒ มาตรฐานและจริยธรรมการประเมิน | รู้และปฏิบัติตามมาตรฐานของวิชาชีพนักประเมิน | รู้และปฏิบัติตามมาตรฐานของวิชาชีพนักประเมิน |
เป้าประสงค์ในการใช้ DE
DE มีที่ใช้ใน ๕ เป้าประสงค์คือ
- 1. ใช้ปรับงานพัฒนาที่กำลังดำเนินการ ทั้งที่เป็นงานระดับโครงการ ชุดโครงการ กิจกรรมเชิงยุทธศาสตร์ การประยุกต์นโยบาย หรือการริเริ่มเชิงนวัตกรรม ไปสู่สภาพใหม่ ในระบบที่ซับซ้อนและเป็นพลวัต
- 2. ปรับใช้หลักการที่พิสูจน์แล้วว่าได้ผล เอาไปประยุกต์ใช้ในต่างบริบท
- 3. ใช้ในการพัฒนางานตอบสนองเร่งด่วนต่อวิกฤติ เช่นภัยพิบัติธรรมชาติ หรือวิกฤติเศรษฐกิจ
- 4. ใช้พัฒนานวัตกรรมช่วงเบื้องต้น (preformative development) ก่อนดำเนินการพัฒนาจริง
- 5. ใช้ในการเปลี่ยนระบบใหญ่ เพื่อตรวจสอบหาจุดพลิกผัน (tipping point)
วิจารณ์ พานิช
๒ ส.ค. ๖๓
