การประเมินผลเพื่อการเรียนรู้และพัฒนา Action research evaluation (ARE)
รายงานการทบทวนผลการดำเนินงานสิบปีแรกของสำนักงานกองทุนสนับสนุนการสร้างเสริมสุขภาพ (สสส.) มีข้อเสนอแนะที่น่าสนใจประการหนึ่งว่า การประเมินผลโครงการแบบผู้ประเมินภายนอกประเมินเมื่อสิ้นสุดโครงการแล้วมีประโยชน์น้อย ควรใช้การประเมินผลแบบ Action Research Evaluation (ARE) ตั้งแต่เริ่มต้นโครงการจะได้ประโยชน์มากกว่า เพื่อให้เกิดการเรียนรู้ว่า อะไรได้ผล? อะไรไม่ได้ผล? เพราะเหตุใด? และมีโอกาสได้ปรับปรุงแก้ไขก่อนสิ้นสุดโครงการ (1)
สำนักสร้างสรรค์โอกาสและนวัตกรรมของสสส. ได้พัฒนา ARE โดยเริ่มต้นใช้กับชุดโครงการชุมชนน่าอยู่ ตั้งแต่ พ.ศ. 2555 เรียกว่า การประเมินผลเพื่อการเรียนรู้และพัฒนา ใช้แนวทางของ Tania Lienert ในบทความเรื่อง Doing action research evaluation (2) ซึ่งใช้ดำเนินการกับชุมชนและครอบครัวในโครงการ Stronger families project ของออสเตรเลียจำนวน 80 โครงการโดยมี Facilitator ดูแลแต่ละโครงการ สถานการณ์คล้ายกับโครงการชุมชนน่าอยู่ที่สำนักฯทำอยู่ ดังภาพที่ 1
ภาพที่ 1 วงจรการประเมินผลเพื่อการเรียนรู้และพัฒนา (Action research evaluation - ARE)
การดำเนินการใช้หลักการ 5 ข้อ ดังนี้
1) ใช้ผลลัพธ์เป็นหลัก
2) ทำเพื่อการเรียนรู้
3) ใช้ข้อมูล
4) ทำหลายรอบ
5) ทำอย่างมีส่วนร่วม
โดยมีเหตุผลและรายละเอียดดังต่อไปนี้
1) การใช้ผลลัพธ์เป็นหลัก
เพื่อตอบโจทย์ตามวัตถุประสงค์ของโครงการว่า อะไรได้ผล? อะไรไม่ได้ผล? เพราะเหตุใด? ก่อนอื่นจึงต้องทำความเข้าใจให้ตรงกันในเรื่องผลหรือผลลัพธ์ของการสร้างเสริมสุขภาพ
"ผลลัพธ์" ในที่นี้คือ การเปลี่ยนแปลงของกลุ่มเป้าหมาย (3) ที่เกิดขึ้นจากการดำเนินงานของโครงการสร้างเสริมสุขภาพ
การสร้างเสริมสุขภาพตามกฎบัตรกรุงเทพ ซึ่งปรับจากกฎบัตรออตตาให้นิยามไว้ว่า คือ "กระบวนการที่ช่วยให้ประชาชนเพิ่มความสามารถในการควบคุมสุขภาพและปัจจัยกำหนดสุขภาพ เพื่อทำให้สุขภาพดีขึ้น"
ในทางปฏิบัติ การสร้างเสริมสุขภาพส่วนมากดำเนินการกับ "ปัจจัยกำหนดสุขภาพ" ที่แก้ไขได้ สองประการ ได้แก่ พฤติกรรมสุขภาพและสภาพแวดล้อมของกลุ่มเป้าหมาย โดยมี "สุขภาพที่ดีขึ้น" เป็นเป้าหมายหรือ "ผลลัพธ์สุดท้าย" (หรือผลลัพธ์ระยะยาว) โครงการส่วนน้อยเท่านั้นที่จะสามารถแสดงให้เห็นการเปลี่ยนแปลงที่เป็น "ผลลัพธ์สุดท้าย" (สุขภาพที่ดีขึ้น) ทั้งนี้เนื่องจากการจะเห็นผลเป็นสุขภาพที่ดีขึ้นมักใช้เวลายาวนานเกินอายุของโครงการ (เป็นที่มาของชื่อว่าผลลัพธ์ระยะยาว) โครงการส่วนมากสามารถแสดงให้เห็นได้เพียงการเปลี่ยนแปลงของปัจจัยกำหนดสุขภาพทั้งสอง คือ การเปลี่ยนแปลงพฤติกรรมหรือ การเปลี่ยนแปลงสภาพแวดล้อมของกลุ่มเป้าหมาย จึงเรียกว่า "ผลลัพธ์ระยะกลาง" หากมีการเปลี่ยนแปลงเกิดขึ้นกับกลุ่มเป้าหมายก่อนหน้านั้น จะได้ชื่อว่า "ผลลัพธ์ระยะสั้น" หรือ "ผลลัพธ์ระหว่างทาง" ประโยชน์ของผลลัพธ์ระยะสั้นคือ เป็นการเปลี่ยนแปลงที่เกิดขึ้นในระยะต้นๆของโครงการเป็นนิมิตที่ช่วยบอกว่าโครงการดำเนินมาถูกทางแล้ว
จากที่กล่าวมาข้างต้น พอจะสรุปได้ว่า วัตถุประสงค์ของโครงการสร้างเสริมสุขภาพ ส่วนใหญ่เป็นผลลัพธ์ระยะกลาง (ปัจจัยกำหนดสุขภาพดีขึ้น) ส่วนน้อยเป็ผลลัพธ์สุดท้าย (สุขภาพดีขึ้น)
เพื่อให้เห็นรูปธรรม ขอใช้เป้าหมายสิบปีของ สสส. เป็นตัวอย่าง ดังภาพที่ 2
ภาพที่ 2 เป้าหมายสิบปี สสส. (2555-2564)
โปรดสังเกตว่า เป้าหมายสิบปีของสสส. ก็คือ "ผลลัพธ์" หรือการเปลี่ยนแปลงที่สสส.ต้องการให้เกิดขึ้น ดังนั้นในการทำโครงการที่เกี่ยวข้องกับประเด็นข้างต้นนั้น ถ้าต้องการเราสามารถนำมาใช้เป็นวัตถุประสงค์ของโครงการเราได้เลย เช่น โครงการโรงเรียนปลอดบุหรี่ วัตถุประสงค์ของโครงการ (คือผลลัพธ์) ก็ควรเป็น "ลดอัตราการสูบบุหรี่" และโครงการความปลอดภัยทางถนนในชุมชน ก็ควรเป็น "ลดอัตราการตายจากอุบัติเหตุทางถนน" เป็นต้น
โดยสรุปก็คือ การจะดูว่าโครงการประสบความสำเร็จหรือไม่ ให้ดูที่ "ผลลัพธ์" หรือ การเปลี่ยนแปลงที่เกิดขึ้นกับกลุ่มเป้าหมาย (และนั่นก็ควรจะเป็นวัตถุประสงค์หลักของโครงการ)
2) การทำเพื่อการเรียนรู้
การประเมินผลส่วนใหญ่ทำเพื่อประโยชน์ของผู้ให้ทุนสนับสนุน เพื่อดูว่าได้ดำเนินการตามที่ตกลงกันไว้หรือไม่เป็นสำคัญ เแต่ ARE ทำเพื่อประโยชน์ของผู้ดำเนินโครงการเป็นสำคัญ นี่คือข้อแตกต่างที่สำคัญที่สุด และประโยชน์ที่ว่า คือ การเรียนรู้ เป็นการเรียนรู้จากการได้ลงมือทำว่า ทำได้ผล (ผลลัพธ์) หรือไม่ อะไรได้ผล เพราะอะไร? (คิดไว้ตั้งแต่วางแผนในการทำโครงการแล้ว เป็นไปตามที่คิดหรือไม่ ถ้าเป็นก็ยืนยันว่าน่าจะคิดถูก ดำเนินการต่อไปได้) อะไรไม่ได้ผล เพราะอะไร? (จะได้หาทางปรับปรุงแก้ไข แล้วดูกันใหม่อีกทีว่าได้ผลหรือไม่) เป็นการถอดบทเรียนเพื่อนำมาใช้ปรับโครงการนี้ เพื่อประโยชน์ในการทำโครงการต่อไป และเพื่อประโยชน์ต่อการเรียนรู้ของผู้อื่น (ผู้ที่จะทำโครงการคล้ายกัน และผู้ให้ทุนสนับสนุนด้วย)
3) การใช้ข้อมูล
เพื่อให้การประเมินผลมีความน่าเชื่อ จำเป็นต้องให้ความสำคัญกับหลักฐานที่นำมาใช้ยืนยันผลการประเมิน โดยเฉพาะอย่างยิ่งกรณีนี้มีลักษณะของการประเมินด้วยตนเอง เนื่องจากการประเมินนี้ใช้ผลลัพธ์เป็นหลัก ข้อมูลสำคัญคือ ข้อมูลตามตัวชี้วัดผลลัพธ์ที่กำหนดไว้จากบันไดผลลัพธ์ (ซึ่งจะกล่าวถึงในข้อต่อไป) จะเห็นได้ว่าการเกิดผลลัพธ์มีความเชื่อมโยงกับกิจกรรม ดังนั้นจึงต้องมีข้อมูลเกี่ยวกับการทำกิจกรรมต่างๆด้วย เพื่อนำมาใช้อธิบายผลลัพธ์ที่ได้ผลหรือไม่ได้ผล เป็นต้น
4) การทำหลายรอบ
เพื่อให้โครงการมีโอกาสได้ใช้ประโยชน์จากการประเมินผล (การเรียนรู้) โดยทั่วไปควรทำ ARE 2-3 รอบต่อปี (ทำน้อยครั้งเกินไปไม่มีโอกาสปรับปรุง ทำบ่อยครั้งเกินไปไม่มีอะไรจะให้เรียนรู้)
ภาพที่ 1 แสดงโครงการที่มีการประเมินผล (พิจารณา) เป็นสามรอบ
ถ้ามองว่าการทำโครงการเป็นการเรียนรู้จากการลงมือทำ (Learning by doing) ก็อาจใช้การทำเป็นหลัก (เส้นตรง) และแบ่งเป็นสามวงจร (หรือสามรอบ) แต่ละวงจรประกอบด้วย
วางแผน (Plan)
ทำ (Do บางแห่งเรียก Act)
ตรวจสอบ (Check หรือ Study บางแห่งเรียก Observe)
พิจารณา (Act บางแห่งเรียก Reflect)
ในมุมมองของ ARE การทำ ARE ต้องเริ่มต้นตั้งแต่การวางแผน เมื่อลงมือทำแล้วก็เก็บข้อมูลไปด้วย การทำ ARE อยู่ที่ขั้นตอนการพิจารณา แล้วนำผลการเรียนรู้ไปปรับแผนสำหรับวงจรต่อไป ด้วยเหตุนี้จึงต้องวางแผนโครงการให้สอดคล้องกับ ARE ตั้งแต่ก่อนเริ่มต้น ในที่นี้จึงขอเสนอการวางแผนด้วย "บันไดผลลัพธ์ "
การวางแผนด้วยบันไดผลลัพธ์
ตัวอย่าง "โครงการโรงเรียนปลอดบุหรี่"
เป้าหมายของประเด็นบุหรี่ (จากเป้าหมายสิบปีของสสส.) คือ "การลดอัตราการสูบบุหรี่"
วัตถุประสงค์ของโครงการคือ "กลุ่มเป้าหมาย (นักเรียน ครู และบุคลากร) เลิกสูบบุหรี่" (=ผลลัพธ์)
บันไดผลลัพธ์ของโครงการ เป็นดังภาพที่ 3
ภาพที่ 3 แสดงตัวอย่างบันไดผลลัพธ์โครงการโรงเรียนปลอดบุหรี่
โปรดสังเกตว่า ภาพเป็นบันไดสามขั้น (เพื่อทำให้เป็นสามวงจร) บันไดขั้นที่สามซึ่งเป็นขั้นสูงสุด คือ ผลลัพธ์ที่เป็นวัตถุประสงค์ของโครงการ
บันไดอีกสองขั้นเรียกว่า "ผลลัพธ์ระหว่างทาง" คือ การเปลี่ยนแปลงที่เกิดจากการดำเนินงานโครงการซึ่งเกิดขึ้นก่อน "กลุ่มเป้าหมายเลิกสูบบุหรี่" ย้อนหลังลงบันไดไปตามลำดับคือ "กลุ่มเป้าหมายแสดงเจตจำนงเลิกสูบบุรี่" และ "โรงเรียนมีสภาพแวดล้อมที่เอื้อต่อการไม่สูบบุหรี่"
การสร้างบันไดสามขั้นนี้เกิดขึ้นจากการคิดตามเหตุผลและอาศัยความรู้ว่า
ขั้นที่หนึ่ง ถ้าเราสร้างสภาพแวดล้อมให้เอื้อต่อการไม่สูบบุหรี่ได้ จะมีผลต่อพฤติกรรมการสูบบุหรี่ คือทำให้มีคนอยากเลิกสูบบุหรี่เพิ่มขึ้น
ขั้นที่สอง คนสูบบุหรี่ที่แสดงเจตจำนงว่าจะเลิกสูบบุหรี่ มีโอกาสเลิกสูบบุหรี่จริงสูงกว่าคนที่ไม่แสดงเจตจำนง
ขั้นที่สาม เมื่อกลุ่มเป้าหมายเข้าร่วมกิจกรรมเลิกสูบบุหรี่ จึงมีกลุ่มเป้าหมายเลิกสูบบุหรี่ ตามที่ตั้งวัตถุประสงค์ไว้
(หมายเหตุ ผู้ที่มีความรู้หรือความคิดเกี่ยวกับการสูบบุหรี่ต่างไปจากนี้ ย่อมกำหนด "ผลลัพธ์ระหว่างทาง " ต่างไปจากนี้)
เมื่อกำหนดผลลัพธ์ทั้งสามขั้นได้แล้ว เราก็อาจนำมากำหนดตัวชี้วัดผลลัพธ์ (ใต้บันได) รวมทั้งข้อมูลที่ต้องเก็บ และกำหนดกิจกรรมที่จะช่วยทำให้บรรลุผลลัพธ์ (เหนือบันได) ดังภาพที่ 4
ภาพที่ 4 บันไดผลลัพธ์โครงการโรงเรียนปลอดบุหรี่ ที่แสดงผลลัพธ์ ตัวชี้วัดผลลัพธ์ กิจกรรม และกำหนดการทำ ARE
เมื่อได้บันไดผลลัพธ์ดังภาพข้างต้นแล้ว เราก็สามารถกำหนดการทำ ARE (พิจารณา) ในจังหวะเวลาที่คาดว่าจะได้ผลลัพธ์ตามบันไดแต่ละขั้นต่อไป เพื่อให้ได้บทเรียนที่นำมาใช้แก้ไขข้อบกพร่อง เช่น แก้ไขและทำบางกิจกรรมซ้ำหรือเพิ่มกิจกรรมบางอย่างเพื่อทำให้ผลลัพธ์ที่ยังไม่ดีนักให้ดีขึ้น เพื่อมิให้เกิดผลเสียต่อผลลัพธ์ของบันไดขั้นต่อไป เป็นต้น
ภาพที่ 5 เป็นตัวอย่างบันไดผลลัพธ์ของอีกโครงการหนึ่ง คือ โครงการถนนปลอดภัยในชุมชน
ภาพที่ 5 ตัวอย่างบันไดผลลัพธ์โครงการความปลอดภัยทางถนนของชุมชน
หมายเหตุ - ในกรณีที่ ผลลัพธ์ระหว่างทางมีเพียงอย่างเดียวทำให้ได้บันไดเพียง 2 ขั้นก็ทำ ARE เพียง 2 ครั้ง หรือถ้าได้บันไดมากกว่า 3 ขั้นก็อาจจะยังคงทำ ARE 3 ครั้งได้ ด้วยการควบรวมมากกว่าหนึ่งขั้นบันไดมาทำพร้อมกัน เป็นต้น
5) การทำอย่างมีส่วนร่วม
ผู้ที่เข้าร่วมในการทำ ARE ประกอบด้วย ผู้ดำเนินโครงการ ผู้รับประโยชน์ และผู้เกี่ยวข้องอื่นๆ รวมทั้งพี่เลี้ยง (= ตัวแทนผู้ให้ทุนสนับสนุน) ทั้งนี้เพื่อการเรียนรู้ร่วมกัน ซึ่งน่าจะเป็นประโยชน์กับทุกฝ่าย ที่เกี่ยวข้อง
เอกสารอ้างอิง
(1) Galbally R, et al.Ten-Year Review of Thai Health Foundation. Nov 2001 - Nov 2011
http://www.searo.who.int/entit...
(2) Tania Lienert. Doing an action research. STRONGER FAMILIES LEARNING EXCHANGE BULLETIN NO.1 AUTUMN 2002
http://citeseerx.ist.psu.edu/v...
(3) Earl S, Carden F, Smutylo T. (2001). Outcome Mapping. International Development Research Centre
อำนาจ ศรีรัตนบัลล์
7 พฤศจิกายน 2561
ปรับปรุงเพิ่มเติม 2 กรกฎาคม 2562
Download power point file ได้ที่นี่
ความเห็น (0)
ไม่มีความเห็น