Evaluation as a management tool

.การจัดการระบบสุขภาพ

ระบบสุขภาพ (WHO , 2007)

ประกอบด้วยองค์กรประชาชน กิจกรรมต่างๆเพื่อที่จะเสริมสร้างดำรงไว้ซึ่งสถานะสุขภาพของแต่ละบุคคลรวมกันเป็นระบบ

National Health System of World

เป็นการเปรียบเทียบระบบต่างๆไว้

Key Concept of Good Service Delivery

-  Comprehensive (Prevention curative rehabilitative promotion)

-  Accessibility (Close to people,  primary care )

-  Coverage (define target population)

-  Continuity (Across network , Level of care Over life-cycle)

-  Quality (Effective safe timely patients need Centered)

-  Person – centeredness (Holistic not a disease , participation)

-  Coordination (Local authority)

-  Accountability and Efficiency (well manage minimum waste accountable for overall performance)

Health

- 

องค์ประกอบที่ใช้วิเคราะห์ระบบสุขภาพ

นโยบายและยุทธศาสตร์	งบประมาณ
Input	Process	Output	Outcome	Impact

การเปรียบเทียบกระบวนการและขั้นตอนต่างๆ

การวิจัย >เป็นการกำหนดปัญหาการวิจัย กำหนดวัตถุประสงค์ ทบทวนวรรณการรม ระเบียบวิธีวิจัย

เก็บข้อมูล และวิเคราะห์ข้อมูล สรุปผล

การประเมินผล> อธิบาย โปรแกรม กำหนดกฎเกณฑ์การประเมิน ขอบเขตในการประเมิน วิธีการประเมิน เก็บข้อมูล วิเคราะห์ข้อมูล และสรุปผล

การประเมินผล

ประเด็น

ประเด็น	การวิจัย	การประเมินผล
จุดเหมือน 1.  วิธีการ	วิธีการทางวิทยาศาสตร์	วิธีการทางวิทยาศาสตร์ศิปศาสตร์และปรัชญา
2.  การดำเนินกิจกรรม	การสืบสวน
ประเด็น	การวิจัย	การประเมินผล
จุดต่าง สิ่งที่ศึกษา	ความจริง	คุณค่า
1.  การกำหนดปัญหา	ความอยากรู้อยากเห็นของนักวิจัย	ความต้องการสารสนเทศของผู้ตัดสินใจ
2.

ประเด็น	การวิจัย	การประเมินผล
จุดมุ่งหมายของการศึกษา 3.1  จุดมุ่งหมายทั่วไป	ข้อสรุป	การตัดสินใจ
3.2  การดำเนินกิจกรรม	ความรู้ที่เป็นสากลความสัมพันธ์เชิงเหตุผล	คุณค่าของสิ่งที่ประเมนความสัมพันธ์ขงวิถีทางและผลลัพธ์
3.3จุดหมายปลายทาง	แนวคิดทฤษฎี	ทางเลือกที่เหมาะสม
3.  วิธีการศึกษา	เชิงประจักษ์และประวัติศาสตร์	เชิงประจักและปรัชญา
4.  ประเภท	วิจัยพื้นฐานประยุกต์ ทดลองไม่ทดลอง	ระหว่าง สิ้นสุดโครงการประบวนการ
5.  เกณฑ์การตัดสินคุณภาพ	ความถูกต้องภายในภายนอก	ความน่าเชื่อถือและการใช้ประโยชน์
6.  ข้อคันพบ	ความรู้ ทำซ้ำได้ ไม่ขึ้นกับบริบท ข้อสรุปเป็นสากล	สารสนเทศ เอกลักษณ์ ขึ้นกับบริบท ตัดสินใจเฉพาะเรื่อง

 ข้อค้นพบของการวิจัยเป็นองค์ความรู้

ข้อค้นพบของการประเมินผลเป็นข้อมูลข่าวสาร > จะต้องสรุปข้อมูลย้อนกลับให้เป็นองค์ความรู้ใหม่

การประเมินผล

องค์ประกอบสำคัญของการประเมินผล จุดมุ่งหมายสำคัญของการประเมินผลคือการวัดเป้าหมาย เส้นทางที่ไปสู่จุดมุ่งหมาย

มีสัญลักษณ์ที่สำคัญ 4  ประการ

Measure effect against the gole contributing

กุญแจสำคัญ ที่มีองค์ประกอบสำคัญ 4 ข้อ

To meaure the effect methodology

The effect outcome

Comparison of effect with goal explicit criteria

Contribution purpose of evaluation

 

ญาณวิทยาEpistemology ความรู้ จะต้องลงไปกระทำเอง Action Research

ภววิทยา (ontology) ในทางการประเมินผลมี 3 แนวทางใหญ่คือ

กลุ่มจิตนิยม (Phychism) ซึ่งเชื่อว่าความจริงอยู่ที่จิต

กลุ่มสสารนิยม  ความจริงส่วนนี้เชื่อว่าสสารเท่านั้นที่เป็นความจริง เพราะจิตไม่มีอยู่จริง

ญาณวิทยาวิทยา

อัตนัยนิยม เชื่อว่ามนุษย์ไมสามารถรับรู้ว่าอะไรจริงอะไรเท็จ และการตัดสินว่าอะไร จริง อะไรเท็จนั้นเป็นเรื่องของแต่ละบุคคล เพราะว่าแต่ละบุคคลนั้นมีหลักการที่เหมาะสมเป็นของตนเอง

ปรนัยนิยม เชื่อว่ามนุษย์รู้ได้ว่าอะไรจริงอะไรเท็จ และการรู้ว่าออระไรจริงอะไรเท็จนั้นต้องมีหลักฐานสากล(Universal Standard) ที่แน่นอนเพื่อให้ทุคนสามารถตัดสินว่าอะไรจริงอะไรเท็จ

วิธีวิทยา ( Methodology)

  แนวทางในการศึกษาหาคามจริงและวิธีการเหาความจริง แตกต่างกันขึ้นอยู่กับว่าความเชื่อและความรู้ของแต่ละบุคคลนั้นว่า

ความจริงแลคุณค่าของความจริงมีอยู่หรือไม่

ถ้ามีอยู่จะสามารถรู้ความจริงและกำหนดคุณค่าของความจริงได้หรือไม่

ควรกระทำโดยวิธีใด

ควรอยู่บนพื้นฐานของข้อมูลประเภทใด (Slof Data หรือ Hard data)

ประเด็นสำคัญในการตัดสินใจ

ไม่สามารถกำหนดตายตัวได้ว่ามาตรฐานหรือเกณฑ์ที่ใช้ในการตัดสินความรู้ความจริงตลอดจนคุณค่าของความรู้ความจริง จะต้องเป็นอย่างใดอย่างหนึ่งเสมอไปภายใต้สถานการณ์ในการศึกษา

มาตรฐานและเกณฑ์ควรเป็นอย่างไร

อะไรคือความเหมาะสม

เป็นส่วนที่ขึ้นกับความรู้ประสบการณ์และความเชื่อส่วนตัว

เกณฑ์ความเหมาะสมของบุคคลหนึ่งไม่จำเป็นต้องเหมือนกับเกณฑ์ความเหมาะสมของบุคคลอื่น

·  ในการประเมินจะใช้ผู้ที่มีความอาวุโสในการประเมินเพื่อให้เห็นชัดเจน

·  เนื่องจากเกณฑ์ขยับได้และให้มีความเหมาะสมเพราะเกณฑ์ไม่เท่ากัน

   

Gold base หมายถึง โครงการใดๆก็ตามมีวัตถุประสงค์อย่างไรเราต้องประเมินตามวัตถุประสงค์นั้นๆ เช่น การประเมินค่ายจากพระที่ให้เด็กนักเรียนเข้ามาเล่น เกมส์เกิดความกดดัน โครงการนี้มีวัตถุประสงค์เพื่อให้เกิดความรักชาติ เนื่องจากได้เงินจาก ก.อ.ร.ม.น. แต่พระถนัดการตอบแทนบุพการี แล้วเราจะต้องประเมินการรักชาติและความมั่นคงของชาติแต่เด็กไม่รักชาติมากขึ้น

Gold  free หมายถึงประเมินสิ่งที่ได้จริง ว่าเกิดอะไรขึ้นไม่ต้องสนใจวัตถุประสงค์

แนะนำให้เขาเขียนโปรแกรมใหม่ที่เกิดตามจริง แล้วไปขอทุนที่เขามีTracสาขานี้

ปัจจัยภายนอก ที่มีอิทธิพลต่อการประเมิน

ภาพลักษณ์ทางการเมืองในองค์การ

 

สมดุลของอำนาจทางการเมืองในองค์การ

 

ความเป็นสาธารณของสิ่งที่นำมาประเมิน(ซ่อนอยู่หรือใครๆก็รู้)

 

บุคลิกภาพของผู้ที่เกี่ยวข้อง

 

ตัวแปรสำคัญที่จะกำหนดความสำเร็จของการประเมนจึงอยู่ที่ระดับความร่วมมือและการต่อต้านกิจกรรมการประเมิน

กลุ่มที่นิยมการเปลี่ยนแปลงมีแนวโน้มเห็นคุณค่าของการประเมินค่อนข้างให้การสนับสนุนการประเมิน

กลุ่มไม่นิยมการเปลี่ยนแปลงจะต่อต้านเพื่อรักษาสภาพเดิมไว้ที่เป็นอยู่

กลุ่มที่อยู่ตรงกลางระหว่าง 2 กลุ่ม มีลักษณะที่อาจสนับสนุนหรือต่อต้านก็ได้ขึ้นอยู่กับบริบทและสภาพแวดล้อมรวมทั้งลักษณะของสิ่งที่จะประเมินรวมทั้งความคาดหวังที่อาจเกิดขึ้นกับตนเองหรือกลุ่มบุคคล

ข้อสังเกต กลุ่มที่เป็นคนสมัยใหม่จะเห็นว่าการประเมินดีแต่มีบางกลุ่มไม่เห็นด้วยไม่อยากให้มาประเมิน กลุ่มตรงกลางพร้อมที่จะให้ไปทางใดก็ได้

เทคนิคของบุคคลในองค์กรที่บิดเบือนผลประเมิน 6 ประเภท

-  การเลือกมองประเด็นที่คิดว่าประสบความสำเร็จ

-  ปกปิดความล้มเหลว หลีกเลี่ยงการประเมนที่เป็นรูปธรรมและมีการใช้ข้อมูลที่ผิวเผินโดยเลือกนักประเมินที่ไม่มีความชำนาญ

-  หลีกลี้ หลบหนีเป็นการใช้อำนาจเพื่อหลีกเลี่ยงการเปิดเผยคุณค่าในทางลบของโครงการ

-  จัดฉาก

-  ถ่วงเวลา โดยการสร้างเงื่อนไขให้การประเมินล่าช้าไปเรื่อยๆ สาธารณะหมดความสนใจต่อผลประเมิน

-  การเปลี่ยนจุด พยายามเบี่ยงเบนความสนใจจาส่วนสำคัญโครงการไม่ล้มเหลวไมยังจุดเล็กๆ ที่ประสบความสำเร็จ

การประเมินผล

1.  PPBS

2.  Cost-related Analysis

3.  PERT

4.  Rossifreeman Wright Approach

 

เชิงระบบ

เน้นหน้าที่

17. Judical App

18. Accreditation App.

5.  Gold Free App 

 

5.Eperimental App.

 

เน้นการทดลอง

6. Gold-base App.

7. Discrepancy App.

 

 

8. CIPP

7. Center Study Evaluation

 

ยึดวัตถุประสงค์

เน้นอำนวยความสะดวก

10. Unitization Focus App.

11. Stakeholder-based App.

 

Decision- Oreinted   Value Oriented

12. Responsive App.

13. Creative App.

 

ประโยชน์นิยม

ปฏิกิริยา 

14. Transactional App.

15. IIumination App.  16. Demacratic App.

 

 

มีส่วนร่วม

เชิงธรรมชาติ

เปรียบเทียบวิธีการเชิงธรรมชาติและวิธีการเชิงระบบ

รายการ	วิธีเชิงระบบ	วิธีเชิงคุณภาพ
1.  ที่มาของวิธีการ 2.  รูปแบบ 3.  การจัดกระทำ 4.  การมองคุณค่า 5.  วิธีการ 6.  เครื่องมือที่นิยมใช้ 7.  การเก็บรวบรวมข้อมูล 8.  การวิเคราะห์ข้อมูล 9.  ผู้ใช้ผลการประเมิน	วิทยาศาสตร์ เศรษฐศาสตร์ จิตวิทยาเชิงทดลอง เป็นทางการ(Formal) สูง (High Structure) คุณค่าเชิงเดียว(Singular) ปรนัย (Objectivism) เครื่องมือมาตรฐาน อาศัยความร่วมมือจากกลุ่มตัวอย่าง การวิเคราะห์ทางสถิติ นักวิชาการ	ศิลปะศาสตร์  มนุษยศาสตร์ วารสารศาสตร์ ไม่เป็นทางการ(Informal) ต่ำ (Low Structure) คุณค่าเชิงพหุ(Pluralistic) อัตนัย (Subjectivism) การสังเกต/สัมภาษณ์ การจดบันทึกเหตุการณ์ตามธรรมชาติ การเชื่อมโยงเหตุผล บุคคลทั่วๆไป

[Type a quote from the document or the summary of an interesting point. You can position the text box anywhere in the document. Use the Text Box Tools tab to change the formatting of the pull quote text box.]

 

[Type a quote from the document or the summary of an interesting point. You can position the text box anywhere in the document. Use the Text Box Tools tab to change the formatting of the pull quote text box.]

 

การกำหนดเกณฑ์การประเมินผล

การให้คุณค่า การวางแผน ปัจจัยป้อน ผลลัพธ์ต่อเนื่อง
เกณฑ์ เกณฑ์สัมบูรณ์ เกณฑ์สัมบูรณ์ เกณฑ์สัมพัทธ์
ตัวชี้วัดหลัก ความต้องการความเป็นไปได้แผน ทรัพยากรบุคคล งบประมาณ   ประสิทธิผล  ประสิทธิภาพ ปัจจัยป้อน ผลลัพธ์ต่อเนื่อง	ขั้นประเมินผล ก่อนปฏิบัติการ ปฏิบัติการ หลังปฏิบัติการ

คุณค่า

1.  คุณค่าภายในคำว่า Merit เป็นคุณค่าภายในตัวเองที่แผงเร้นอยู่ในสิ่งนั้นตลอดเวลาไม่ขึ้นอยู่กับบริบท การประมาณค่าภายในจึงเป็นสิ่งที่ทำได้ยาก

2.  คุณค่าภายนอก (Value หรือ Worth)ขึ้นกับสถานการณ์แวดล้อมสามารถตีค่าได้อย่างค่อนข้างเป็นปรนัย ถ้านิยาม คุณค่าไมความเฉพาะเจาะจง

ตัวอย่างกองทุนหมู่บ้าน

3.   ตัวบ่งชี้เกณฑ์มาตรฐาน ตัวบ่งชี้หมายถึง ตัวแปรหรือค่าที่สังเกตได้ซึ่งใช้บ่งบอกสถานภาพหรือสะท้อนลักษณะการดำเนินงานและตัววัดผลสำเร็จของงาน เกณฑ์ หมายถึง ระดับที่ถือว่าเป็นความสำเร็จของการดำเนินงานหรือผลที่ได้รับ

4.  การกำหนดคุณค่า (Valuation) การกำหนดคุณค่าภายใต้บริบทควรพิจารณาให้ครอบคลุมทั้งในแง่ของวิธีการและผลลัพธ์ที่เกิดโดยอาศัยการตีความจากข้อสรุป

  การกำหนดคุณค่าเป็นกระบวนการที่มีความละเอียดอ่อนขึ้นอยู่กับริบทและวิธีการใช้รวมทั้งความคุ้นเคยของนักประเมิน

  คุณค่าภายในและคุณค่าภายนอกมีความเกี่ยวข้องสัมพันธ์กันโดยคุณค่าภายในอาจประกอบด้วยคุณค่าภายนอกหลายๆด้าน

  การตัดสินคุณค่าภายในควรใช้เกณฑ์สมบูรณ์ส่วนการตัดสินภายนอกควรใช้เกณฑ์สัมพัทธ์

การประเมินผลมักจะทำไดใน 2 มิติ คือทำได้จากการประเมินจากภายในหรือภายนอก

-  ผู้ประเมินจากภายในจะเข้าใจบทบาท จะข้าใจเนื้อหาลุ่มลึกมากกว่า

-  ผู้ประเมินภายนอกอาจจะได้ประโยชน์ในแง่ของความมีอิสระและความมั่นใจของฝ่ายบริหารและความมีวัตถุวิสัย

- 

 

การประเมินผลระหว่างการดำเนินการ

ประเด็นที่ต้องให้ความสนใจ

1.จะทำให้การดำเนินงานของโครงการดีขึ้นอย่างไร

2.จะปรับปรุงประสิทธิภาพและประสิทธิผลของโครงการอย่างไร

ตัวอย่างคำถามที่ควรพิจารณา

1.  จุดประสงค์ของโครงการคืออะไร

2.  ลักษณะสำคัญขอโครงการเป็นอย่างไร

3.  กิจกกรมของโครงการจะทำให้บรรลุวัตถุประสงค์ได้อย่างไร

4.  ส่วนประกอบสำคัญของโครงการได้ถูกดำเนินการหรือไม่

5.  มีแนวโน้มของความสำเร็จมากน้อยเพียงใด

6.  จะปรับปรุงในโรงกาอรอย่างไรเพื่อบรรลุวัตถุประสงค์ที่ตั้งไว้

7.  กิจกรรมอะไรที่เหมาะสมที่สุดสำหรับแต่ละวัตถุประสงค์ย่อย

8.  มีกิจกรรมอะไรที่เหมาะกับประชากรเป้าหมายเฉพาะหรือไม่

การประเมินผลรวบยอด(Summative)

ประเด็นนี้น่าสนใจจะต้องให้ความน่าสนใจ

1.  โครงการนั้นประสบความสำเร็จตามวัตถุประสงค์หรือไม่

2.  โครงการนั้นคุ้มค่าสมควรขยายผลหรือไม่

3.  โครงการนั้นมีประสิทธิผลอย่างไร

4.  จะสรุปเกี่ยวกับโครงการและปฏิสัมพันธ์ขององค์ประกอบต่างๆได้อย่างไร

ตัวอย่างคำถามที่ควรพิจารณา

1.  จุดประสงค์ของโครงการคืออะไร

2.  ลักษณะสำคัญของโครงการเป็นอย่างไร

3.  ทำไปกิจกกรมเหล่านั้นถึงทำให้บรรลุความสำเร็จตามวัตถุประสงค์

4.  จริงๆแล้ว กิจกรรมต่างๆ มีส่วนในการทำให้บรรลุวัตถุประสงค์มากน้อยเพียงใด

5.  มีโครงการอื่นๆ ที่เทียบเคียง เป็นคู่แข่งที่สำคัญของโครงการนี้

แนวทางการประเมินผล  4 ขั้นตอน

1.การวิเคราะห์ตรรกะ เป็นการศึกษาทางตรรกวิทยาเพื่อดูว่าสิ่งที่จะถูกประเมินต่างๆ ถูกกำหนดไว้มีความสัมพันธ์กันอย่างไร

2.การวางแผนการประเมินผล มีส่วนประกอบสำคัญ 4 ประการ

  การเลือกตัวอย่างใน 2  ลักษณะ คือ การสุ่มตัวอย่างที่ผู้ตอบเป็นตัวแทนและการเลือกผู้เก็บ

3. การเก็บข้อมูล หากสามารถเก็บข้อมูลได้ตั้งแต่ก่อนเริ่มโครงการ ตลอดระหว่างโครงการและหลังโครงการ

4. การหาข้อสรุป

ข้อสรุปและข้อเสนอแนะมีหลักการที่จะต้องมีข้อสรุปซึ่ง

Principle of Empowerment

1.  Improve มีเจตนาให้กลุ่มเป้าหมายมีพัฒนามากขึ้น

2.  Community Ownershipเขาต้องเป็นเจ้าของโครงการ

3.  Inclusion ให้เขาเข้ามามีส่วนร่วมกับเรา

4.  Democratic Participationsต้องมีส่วนร่วมอย่างเท่าเทียมกันห้าม Dominate

5.  Social Justice ต้องให้เขากำหนดอนาคตของเขาเองให้ได้ เป็น Self Determination

6.  Community Knowledge ต้องให้ความสำคัญกับภูมิปัญญาห้ามไปบอกว่าชาวบ้านไม่มีความรู้ เราอาจจะไม่มีความรู้

7.  Evidence- based Strategies ต้องใช้ยุทธศาสตร์ที่อาศัย Evidence Base จับได้ต้องได้ ระยะสั้น ห้ามสร้างความฝันที่ไม่เป็นจริง

8.  Capacities Building เพิ่มการพัฒนาศักยภาพของเขา

9.  Organizational Learning สร้างองค์กรแห่งการเรียนรู้

10.  Accountability ดึงเขาเข้ามามีส่วนร่วมประเมิน และร่วมรับผิดชอบ