สาระในตอนที่ ๒ นี้    ผมตีความจากหนังสือ Developmental Evaluation : Applying Complexity Concepts to Enhance Innovation and Use (2012) บทที่ 1 Developmental Evaluation Defined and Positioned

เมื่ออ่านสาระในหนังสือไปเรื่อยๆ ผมก็ตีความความหมายของ DE ไว้ดังต่อไปนี้

  • ประเมินอดีต เพื่อค้นหาอนาคต
  • ประเมินเพื่อแสวงหานวัตกรรม ในสภาพที่ซับซ้อนและเป็นพลวัต
  • ประเมินเพื่อเสาะหาการผุดบังเกิด
  • ประเมินเพื่อหนุนการปรับตัว
  • ประเมินเพื่อหนุนการเรียนรู้และปรับตัว
  • ประเมินเพื่อหนุนการเปลี่ยนแปลง
  • ประเมินภายใต้โลกทัศน์ที่กว้างและเชื่อมโยง
  • เครื่องมือของนวัตกรสังคม

รายการการตีความความหมายของ DE นี้ ยังไม่สิ้นสุด    ต่อไปน่าจะนึกคำอื่นๆ ได้อีก   

หัวใจของ DE คือ ความซับซ้อน (complexity)    ซึ่งหมายความว่า DE ทำงานภายใต้สมมติฐานว่ากิจการที่ประเมินอยู่ในระบบที่ซับซ้อนและเปลี่ยนแปลงอยู่ตลอดเวลา    ซับซ้อนที่หน่วยงานและบุคคลที่เกี่ยวข้องกับกิจการที่ประเมิน ทั้งที่เป็นหน่วยงานภายใน และหน่วยงานภายนอก    กล่าวง่ายๆ ว่า  ไม่ได้ประเมินแคบๆ ที่กิจการหรือโครงการที่ประเมินเท่านั้น    แต่ประเมินเชื่อมสู่ระบบนิเวศน์ที่เชื่อมโยงสัมพันธ์กับกิจการหรือโครงการด้วย   

นิยามของ DE

นิยามของ DE อยู่ที่หน้า ๒๐ ของหนังสือ   ระบุว่าเป้าหมายของ DE คือ เพื่อช่วยพัฒนานวัตกรรม (innovation),  การดำเนินการ (intervention),  หรือโปรแกรม    ผู้ประเมินเป็นส่วนหนึ่งของทีมออกแบบนวัตกรรมหรือโปรแกรม    มีส่วนร่วมอย่างเต็มที่ในการตัดสินใจ และแสดงบทบาทกระบวนกรในการอภิปรายว่าจะประเมินสิ่งที่เกิดขึ้นอย่างไร    ทั้งทีมประเมินและทีมงานของโปรแกรมร่วมกันตีความข้อค้นพบจากการประเมิน  วิเคราะห์ความหมาย  และการประยุกต์ใช้ผลต่อการพัฒนางานขั้นต่อไป    ผู้ประเมินมีส่วนร่วมในการปรับปรุงการดำเนินการ  และใช้กระบวนการประเมินในการเอื้อความสะดวกของขั้นตอนต่อไปในการพัฒนาโปรแกรม  โครงการ  ผลิตภัณฑ์  เจ้าหน้าที่  และหรือองค์กร     หน้าที่หลักของผู้ประเมินคือ เป็นกระบวนกรในการอภิปรายภายในทีม โดยป้อนคำถาม ข้อมูล และตรรกะเชิงประเมิน   และสนับสนุนการตัดสินใจในกระบวนการพัฒนา โดยใช้ข้อมูล

โดยนัยนี้ ทีมประเมิน DE  จึงทำหน้าที่คล้ายเป็นหน่วย R&D ของหน่วยปฏิบัติ    ทีม DE จึงฝังหรือบูรณาการเป็นเนื้อเดียวกันกับหน่วยปฏิบัติ   และทำให้การดำเนินการพัฒนานวัตกรรมเป็นเสมือนกิจกรรมวิจัยและพัฒนา   

นักประเมินที่มีประสบการณ์สูง จะนำเอาความรู้จากประสบการณ์เข้าไปเสริมหน่วยปฏิบัติ ว่าสิ่งใดมีแนวโน้มจะได้ผลดี สิ่งใดมักจะไม่เกิดผลดี    รวมทั้งนักประเมินที่มีประสบการณ์สูงมักรู้แบบแผนของประสิทธิผล (pattern of effectiveness)    ซึ่งจะมีประโยชน์ต่อทีมพัฒนานวัตกรรมสังคมตั้งแต่ขั้นตอนออกแบบ ไปจนถึงขั้นตอนประเมิน

การผุดบังเกิดของ DE

อ่านจากหนังสือบทนี้  จึงทราบว่าจุดเริ่มต้นของ DE เกิดจากความต้องการของฝ่ายผู้รับการประเมิน    จากการที่ M. Q. Patton ได้รับงานประเมินโครงการพัฒนาภาวะผู้นำในชุมชน (Community Leadership Program) ในรัฐมินนีโซต้า สหรัฐอเมริกา  เป็นเวลา ๕ ปี    โดยทำงานประเมินคู่ขนานไปกับการดำเนินโครงการพัฒนา     ในสัญญาระบุว่า ให้ประเมินเพื่อพัฒนา (formative assessment - FA) เป็นเวลา ๒ ๑/๒ ปี    ตามด้วยประเมินเพื่อตัดสิน (summative evaluation - SE) อีก ๒ ๑/๒ ปี

กิจกรรมประเมินจึงเริ่มต้นพร้อมๆ กันกับโครงการพัฒนาชุมชน    และตามหลักของ FA ทีมประเมินของ M. Q. Patton ให้ feedback เพื่อหนุนการทำงานของทีมพัฒนาชุมชนเป็นระยะๆ    ช่วยให้ทีมพัฒนา และมูลนิธิผู้ให้ทุนสนับสนุน ร่วมกันการปรับโครงการหลากหลายด้าน   ช่วยให้โครงการมีความเหมาะสมต่อเป้าประสงค์ดีกว่าตอนเริ่มคิดอย่างมากมาย     เมื่อใกล้ครบ ๒ ๑/๒ ปี M. Q. Patton ก็บอกทีมพัฒนาว่า ต่อไปทีมประเมินจะเปลี่ยนบทบาทแล้วนะ    จะเปลี่ยนเป็นประเมินผล ซึ่งเน้นการประเมินตามเป้าหมายและวิธีการที่กำหนด     ทีมพัฒนาบอกว่าไม่เอา    เพราะเขาประจักษ์แล้วว่า งานพัฒนาเป็นงานที่ซับซ้อน ต้องมีการปรับตัวอยู่เสมอ    และพบแล้วว่า FA ช่วยหาข้อมูลและตีความเป็น feedback  ชี้ทางปรับตัวและปรับปรุงโครงการได้ดีมาก  

หัวหน้าทีมพัฒนาชุมชนเป็นผู้เสนอว่า การประเมินควรเป็น developmental evaluation    เป็นจุดเริ่มต้นของชื่อการประเมินชนิดนี้         

เผชิญความซับซ้อนของความเป็นจริง หรือเผชิญความเป็นจริงของความซับซ้อน

เรากำลังทำความเข้าใจธรรมชาติของงานพัฒนา  โดยเฉพาะอย่างยิ่ง งานพัฒนาสังคม ซึ่งเป็นงานยากและซับซ้อน    ที่หลายคนมองว่าเป็นสิ่งที่เป็นไปไม่ได้    คนที่จะทำงานนี้ได้สำเร็จจึงต้องเป็นคนที่ทุ่มเท และพร้อมเผชิญอุปสรรคอย่างไม่ยอมท้อถอย   

ต้นเหตุที่ทำให้การทำงานในสภาพที่ซับซ้อน (complexity) สูง ไม่ประสบความสำเร็จก็เพราะสาเหตุ ๓ ประการคือ  (๑) ปฏิเสธความซับซ้อน  (๒) พยายามควบคุมความซับซ้อน และ (๓) พยายามหลีกเลี่ยงความซับซ้อน    และผมขอเพิ่มข้อที่ (๔) ไม่ตระหนักในความซับซ้อนของเรื่องนั้น  

เคล็ดลับความสำเร็จอยู่ที่การเผชิญความซับซ้อนอย่างมีสติ และปัญญา    นำเอาข้อค้นพบที่เผยตัวขึ้นจากการดำเนินการมาใช้เป็นพลัง    โดยทีม DE เป็นผู้ช่วย ให้ทีมปฏิบัติงานค้นพบพลังนั้น   

ในเมื่อกิจการที่กำลังพัฒนามีธรรมชาติซับซ้อนและปรับตัว    ทีมพัฒนาก็ต้องทำงานด้วยแนวทางที่ซับซ้อนและปรับตัวด้วย    ไม่ดำเนินการแบบมีแผนการดำเนินการที่แข็งทื่อตายตัว     แต่จ้องค้นหาพลังที่เผยตัวออกมาในระหว่างดำเนินการโครงการ   เอามาใช้ขับเคลื่อนการเปลี่ยนแปลงอย่างพลิ้วไหว     ในการทำงานแนวนี้ ทีมปฏิบัติการต้องการกัลยาณมิตรช่วยค้นหาพลังที่เผยตัว     ทีม DE คือกัลยาณมิตรนั้น

สังคมเป็นความเป็นจริงที่ซับซ้อน (และเปลี่ยนแปลง)    การพัฒนาสังคมต้องใช้กระบวนการที่ซับซ้อนและเคลื่อนไหว     ไม่ใช้กระบวนการที่แข็งทื่อตายตัว     เมื่อสมาทานกระบวนทัศน์และวิธีการที่สอดคล้องกับความเป็นจริง    ก็ต้องการพลังแห่งสติและพลังของปัญญา เอามาใช้ดำเนินการ    DE เป็นตัวช่วย ด้านสติและปัญญานั้น    คือช่วยให้ค้นพบพลังที่ซ่อนอยู่ในความซับซ้อน และเผยแพลมตัวออกมาในท่ามกลางการดำเนินการ    หากขาดกลไกค้นหาและตีความ พลังนั้นก็พร่ามัวและหายไป    นักประเมินแบบ DE ต้องฝึกฝนทักษะในการค้นพบ และตีความคุณค่าของพลังที่พร่ามัวนั้น   เพิ่มความใสกระจ่าง และเสนอแนะแนวทางเอาพลังนั้นไปใช้งาน    

DE กับทฤษฎีความซับซ้อน

เรื่องราวต่างๆ ในโลกนี้เป็นเรื่องของความซับซ้อน    แต่สมองมนุษย์ถูกฝึกมาให้ลดทอนความซับซ้อนสู่ pattern ที่มีความชัดเจน ง่ายต่อการทำความเข้าใจ    complexity จึงมักถูกมนุษย์ลดทอนเป็น simplicity & linear    โดยที่จริงๆ แล้วเรื่องราวต่างๆ ในสังคมมีสภาพเป็นระบบที่ซับซ้อนและปรับตัว (complex adaptive systems)    

ระบบที่ซับซ้อนและปรับตัวมีลักษณะสำคัญ ๖ ประการคือ

  • ไม่เป็นเส้นตรง (nonlinearity)
  • ผุดบังเกิด (emergence)
  • เป็นพลวัต (dynamical)
  • ปรับตัว (adaptive)
  • ไม่แน่นอน (uncertainty)
  • วิวัฒน์ร่วม (coevolutionary)

คุณลักษณะดังกล่าวเข้ากันได้กับนวัตกรรม (innovation) และ developmental evaluation (DE)     โดยที่ DE ทำหน้าที่ติดตามและตีความนวัตกรรมที่ผุดบังเกิดขึ้นภายใต้สภาพของความซับซ้อน    แล้วจัดทำเป็นเอกสารตีความพลวัตที่นำไปสู่นวัตกรรมที่ผุดบังเกิดดังกล่าว    ชี้ให้เห็นปฏิสัมพันธ์ และความสัมพันธ์ในลักษณะพึ่งพาและช่วยเหลือเกื้อกูลกัน (interdependencies)    ที่นำไปสู่นวัตกรรมนั้น        

การดำเนินการในท่ามกลางสภาพของระบบที่ซับซ้อน ผู้ปฏิบัติการหลงทางได้ง่าย    โดยเฉพาะอย่างยิ่ง หลงจับจ้องผลงานตามเป้าหมายที่คาดหวัง    ทำให้ไม่เห็นนวัตกรรมที่ผลุบๆ โผล่ๆ แพลมตัวออกมา

ประโยชน์ใช้งานของทฤษฎีความซับซ้อน

ทฤษฎีความซับซ้อนช่วยชี้ให้เห็นมิติใหม่ๆ ของการประเมิน    ซึ่งก็คือ เป็นฐานคิดหลักของ DE   

เอาใจใส่สิ่งที่ไม่คาดหวัง

จุดบอดของนักประเมินโดยทั่วไปคือมุ่งจับจ้องที่ ผลตามที่คาดหวัง (intended outcome)     ทำให้ละเลยผลดีที่เกิดขึ้นโดยไม่คาดหวังไว้ก่อน  หรือละเลยเรื่องราวของผลร้ายที่เกิดขึ้น    อาจกล่าวได้ว่า ทฤษฎีความซับซ้อน ช่วยเปิดโลกทัศน์ของนักประเมิน    ให้เอาใจใส่ปรากฏการณ์ หรือพลวัต ที่เกิดขึ้นในโครงการที่กำลังดำเนินอยู่    ในลักษณะที่จับจ้องมองหานวัตกรรม หรือหน่ออ่อนของนวัตกรรม ที่ไม่ได้คาดหวังไว้ก่อน    ภายใต้แนวคิดว่าหน่ออ่อนของนวัตกรรมที่ไม่คาดหวังเกิดขึ้นได้เสมอในระบบที่ซับซ้อนและปรับตัว    

DE กับ Single-Loop Learning และ Double-Loop Learning

ประเด็นสำคัญคือ DE เป็นเครื่องมือเพื่อการเรียนรู้ ของผู้เกี่ยวข้อง    จาก feedback ที่ทีม DE ป้อนกลับ    หากประเด็นป้อนกลับนำไปสู่การปรับปรุงวิธีทำงานเพื่อแก้ปัญหา   การเรียนรู้นั้นเรียกว่า single-loop learning     แต่หากทีมประเมินตั้งคำถามที่ลึกยิ่งขึ้นต่อปรากฏการณ์ที่พบ    และนำไปสู่การดำเนินการเพื่อลดปัญหา หรือป้องกันปัญหา     การเรียนรู้นั้นเรียกว่า double-loop learning

จะเห็นว่า นักประเมินที่มีมุมมองเชิงระบบ หรือมุมมองเชิง complexity    สามารถตั้งคำถามที่ลึกและเสนอแนะการพัฒนาที่เลยจากการพัฒนางาน  ไปสู่การพัฒนาระบบได้    เกิดคุณค่าต่อการพัฒนามากกว่ากันอย่างเทียบกันไม่ติด 

เขายกตัวอย่างผู้เชี่ยวชาญการแพทย์สหรัฐที่ไปเยือนโรงพยาบาลภาคสนามที่อิรัก ในสงครามอิรัก    และพบว่าโรงพยาบาลให้การดูแลการบาดเจ็บที่นัยตาอย่างได้ผลดีมาก    แต่ผู้เชี่ยวชาญคือ Atul Gawande ตั้งข้อสังเกตว่า ทำไมจึงมีการบาดเจ็บที่ตามากนัก    ได้ความว่า เพราะทหารไม่สวมแว่นป้องกัน    เนื่องจากสวมแล้วดูไม่สง่างาม    เมื่อมีการออกแบบแว่นป้องกันเสียใหม่ให้ถูกใจทหาร และทหารสวมกันทุกคน    อัตราบาดเจ็บที่ตาลดลงหลายเท่าตัว     นี่คือผลของการตั้งคำถามที่ลึก เป็นคำถามเชิงระบบ  ที่นำไปสู่ double-loop learning   นำไปสู่การแก้ปัญหาที่ root cause หรือต้นตอ 

กรอบการตีความ

กรอบการตีความใน DE อาศัย ๓ ปัจจัยคือ  (๑) การคิดกระบวนระบบ (systems thinking)   (๒) ทฤษฎีความซับซ้อน (complexity theory)   และ (๓) developmental evaluation    ขีดความสามารถในการตีความ มีความสำคัญมากกว่าความแม่นยำและครบถ้วนของข้อมูล     นี่คือข้อสรุปจากผลการวิจัยความสามารถของผู้บริหาร    ซึ่งหมายความว่า ผู้บริหารต้องจัดการความหมาย (meaning management) พอๆ กันกับจัดการสารสนเทศ (information management)

เมื่อนวัตกรสังคมได้รับผลของการประเมินแบบ DE ที่เน้นมุมมองเชิงระบบที่ซับซ้อน    เขาจะได้สติว่าขณะนั้นเขาอยู่ตรงไหนบนเส้นทางสู่เป้าหมาย    และมองเห็นลู่ทางปรับกระบวนการทำงานที่จำเป็น และที่เป็นไปได้    ซึ่งอาจแตกต่างจากที่กำหนดไว้เดิม  

Real-time DE

DE ที่ดี จะให้ real-time feedback    แต่ real-time feedback ไม่จำเป็นต้องเป็น DE    จะเป็น DE หรือไม่ขึ้นอยู่กับทั้งผู้ประเมินและผู้รับการประเมิน    หากผู้รับการประเมินใช้ผลการประเมินเพียงเพื่อดำเนินการตอบสนองได้เร็ว     การประเมินนั้นไม่เป็น DE     แต่หากผู้รับการประเมินใช้ผลการประเมินเพื่อปรับรูปแบบหรือระบบการทำงาน ให้แก้ปัญหาที่ root cause ยิ่งขึ้น    การประเมินนั้นเป็น DE

DE กับความรับผิดรับชอบ

การประเมินโดยทั่วไป ความรับผิดรับชอบ (accountability) อยู่ภายในโครงการ คืออยู่ที่ผู้ให้ทรัพยากรสนับสนุนโครงการ    แต่ในการประเมินแบบ DE ความรับผิดรับชอบกระจายอยู่ทั่ว  ทั้งหน่วยงานสนับสนุนทรัพยากร  ผู้ดำเนินการโครงการ  ผู้ประเมิน   สถาบันต่างๆ ที่เกี่ยวข้อง   รวมทั้งสังคมหรือชุมชนในวงกว้าง     เพราะเมื่อถือตามแนวคิดเชิงระบบ ฝ่ายต่างๆ ที่กล่าว มีส่วนเกี่ยวข้องกับโครงการทั้งสิ้น

การประเมินที่เน้นการใช้ประโยชน์

DE เป็นชนิดหนึ่งของ “การประเมินที่เน้นการใช้ประโยชน์”  (utilization-focused evaluation)    ซึ่งหมายถึงการประเมินที่จะต้องบรรลุเป้าหมายการใช้ประโยชน์ (intended use)   ที่กำหนดโดยกลุ่มผู้ต้องการใช้ประโยชน์ (primary intended users)    โดยที่กลุ่มผู้ต้องการใช้ประโยชน์เป็นนวัตกรสังคม และผู้เกี่ยวข้อง ที่ต้องการเห็นการเปลี่ยนแปลงใหญ่   

DE จึงทำหน้าที่เอื้อต่อการก่อเกิดนวัตกรรม โดยช่วยให้ผู้เกี่ยวข้องได้ตรวจสอบผลของการกระทำของตน  ช่วยให้คิดสมมติฐานว่าจะเกิดอะไรขึ้นจากการกระทำนั้น   และช่วยให้มีการทดสอบสมมติฐานเกี่ยวกับการสร้างการเปลี่ยนแปลงในท่ามกลางสถานการณ์ที่ไม่แน่นอน และมีความซับซ้อน

ลักษณะสำคัญของ การประเมินที่เน้นการใช้ประโยชน์ มี ๒ ประการคือ  (๑) มีความจำเพาะต่อบุคคล (personal)   (๒) มีความจำเพาะต่อสถานการณ์ (situational)    ดังนั้นนัก DE จึงต้องทำงานใกล้ชิดกับผู้ต้องการใช้ประโยชน์ เพื่อทำความชัดเจนว่า เขาเหล่านั้นต้องการการประเมินแบบใดแน่   

ข้อเตือนใจสำคัญที่สุดคือ DE ไม่ได้เป็นการประเมินที่เหมาะต่อทุกสถานการณ์    หรือกล่าวให้ชัดเจนยิ่งขึ้นได้ว่า DE  เหมาะต่อบางสถานการณ์ที่จำเพาะเท่านั้น  

 

ทำความเข้าใจสถานการณ์

การวิเคราะห์สถานการณ์ (situation analysis) เป็นสมรรถนะสำคัญของนักประเมิน     เพื่อจะได้เลือกวิธีประเมินให้เหมาะต่อสถานการณ์นั้นๆ    เพราะความสำเร็จของการประเมินแบบ DE ขึ้นกับเงื่อนไข (conditions)  และความสัมพันธ์ (relationships) ที่ถูกต้อง  

ความสำเร็จของการประเมิน อยู่ที่การกำหนดวิธีการ (approach) และกระบวนการ (process) ของการประเมิน ให้เหมาะสมต่อสถานการณ์  ทรัพยากร  ช่วงเวลา  ความต้องการข้อมูล  การเมือง  ผู้ต้องการใช้ประโยชน์  และเป้าหมายของสถานการณ์ที่จำเพาะ    เงื่อนไขของความสำเร็จดังกล่าว ต้องการความสามารถที่สูงมาก ต่อการทำความเข้าใจสถานการณ์    โดยสิ่งสำคัญยิ่งที่จะต้องไม่ละเลยคือ ความไร้เหตุผลของมนุษย์    ซึ่งเป็นจริงต่อมนุษย์ทุกผู้ทุกนามทุกระดับการศึกษา    และมีความไร้เหตุผลหลากหลายแบบ    

ย้ำอีกครั้งว่า DE เหมาะต่อบางสถานการณ์เท่านั้น   

วิจารณ์ พานิช

๒ ส.ค. ๖๓