การประเมินคุณภาพและปรับปรุงนวัตกรรมและเทคโนโลยี

การประเมิณคุณภาพและปรับปรุงนวัตกรรมและเทคโนโลยี

การหาประสิทธิภาพของนวัตกรรมการเรียนการสอน
การทดลองใช้และหาประสิทธิภาพของนวัตกรรมการเรียนการสอน เป็นขั้นตอนที่จะพิสูจน์ว่า
นวัตกรรมการเรียนการสอนที่จัดทำ/พัฒนาขึ้นนั้น เมื่อนำไปใช้จริงจะเกิดประโยชน์ สามารถแก้ปัญหาสามารถปรับปรุงพัฒนาผลการเรียนรู้ของผู้เรียนได้อย่างมีประสิทธิผล คุ้มค่าตรงตามวัตถุประสงค์และเป้าหมายที่ต้องการ สำหรับการหาประสิทธิภาพของนวัตกรรมการเรียนการสอนนั้น สามารถดำเนินการได้หลายวิธี เช่น
1. ขอความอนุเคราะห์ให้ผู้เชี่ยวชาญในสาขาวิชา ในสาระการเรียนรู้ที่ตรงกับนวัตกรรมการเรียนการสอนที่จัดทำ/พัฒนาขึ้น ช่วยตรวจสอบด้านเนื้อหา กิจกรรม และความเหมาะสมของรูปแบบ ชนิดและประเภทของนวัตกรรมการเรียนการสอนว่า สามารถแก้ปัญหา/พัฒนาประสิทธิผลของการเรียนรู้ได้ตรงตามมาตรฐานสาระการเรียนรู้และมาตรฐานช่วงชั้น/ชั้นปีที่กำหนดหรือไม่และอย่างไร
การตรวจสอบเบื้องต้น เป็นการนำนวัตกรรมที่สร้างขึ้นไปให้ผู้เชี่ยวชาญเฉพาะเรื่องที่ทำนวัตกรรม นั้นโดยตรงอย่างน้อย 3 คนตรวจสอบ ถ้าผู้เชี่ยวชาญทั้ง 3 คนมีความเห็นสอดคล้องกัน 2 หรือ 3 คน แสดงว่าเนื้อหาและรูปแบบมีความถูกต้อง เที่ยงตรงและครอบคลุมจุดมุ่งหมายที่กำหนดซึ่งการตรวจสอบความสมบูรณ์ถูกต้อง โดยผู้เชี่ยวชาญก่อนที่จะนำไปทดลองใช้นั้นมักจะใช้ค่า IOC ในการพิจารณาคุณภาพของนวัตกรรม การกำหนดคะแนนของผู้เชี่ยวชาญอาจจะเป็น +1 หรือ 0 หรือ -1 ดังนี้ +1 หมายถึง แน่ใจว่าถูกต้อง/สอดคล้อง/ตรงกับจุดประสงค์ 0 หมายถึง ไม่แน่ใจ -1 หมายถึง แน่ใจว่ายังไม่ถูกต้อง/ไม่สอดคล้อง/ไม่ตรงจุดประสงค์ ค่าดัชนีความสอดคล้องที่ยอมรับได้ต้องมีค่าตั้งแต่ 0.50 ขึ้นไป
2. วิธีการตรวจสอบคุณภาพนวัตกรรมการเรียนการสอน (ดร. ธีระศักดิ์ อุรัจนานนท์ 2553)
วิธีการตรวจสอบคุณภาพนวัตกรรมการเรียนการสอน โดยปกติทำโดยการนำสื่อไปทดลองใช้กับตัวแทนกลุ่มเป้าหมายตามสภาพการณ์จริงปกติ เพื่อที่จะดูว่านวัตกรรมที่ผ่านการประเมินผลโดยผู้เชี่ยวชาญแล้วมีความเหมาะสมในการสื่อสารกับผู้เรียนกลุ่มเป้าหมายได้หรือไม่ ดังนี้ ในการทดสอบสื่อในขั้นนี้ จะให้ผู้เรียนซึ่งเป็นตัวแทนกลุ่มเป้าหมาย ใช้สื่อในสภาพการณ์จริงทุกอย่าง การทดลองใช้นวัตกรรมนี้ดำเนินเป็นขั้นตอน 3 ขั้นตอน ตามลำดับดังนี้
แต่ทุกขั้นตอนดำเนินการเหมือนกัน คือ ให้ตัวแทนกลุ่มเป้าหมายใช้สื่อในสภาพการณ์เป็นจริงตามที่กำหนดในระหว่างการใช้สื่อ ผู้ตรวจสอบจะสังเกตพฤติกรรมผู้ใช้นวัตกรรม และลักษณะ สื่อปรากฏ โดยใช้แบบสังเกตที่เตรียมไว้เมื่อสิ้นสุดการใช้ ผู้ตรวจสอบจะให้ผู้เรียนทำแบบทดสอบที่เตรียมไว้ นำผลการสังเกตและผลการทดสอบมาวิเคราะห์เพื่อเป็นข้อมูล สำหรับการปรับปรุงแก้ไขสื่อ ก่อนที่จะนำไปทดลองใช้ในขั้นต่อไป
2.1 การทดสอบหนึ่งต่อหนึ่ง (One-by-one testing)
ในขั้นตอนนี้ ให้ตัวแทนกลุ่มเป้าหมาย 1 คน เรียนกับนวัตกรรม ในระหว่างการทดลองใช้สื่อให้ผู้ตรวจสอบทำการสังเกตการใช้นวัตกรรมการเรียนการสอนอย่างใกล้ชิด โดยใช้แบบสังเกต และบันทึกผลการสังเกตเพื่อเป็นข้อมูลในการปรับปรุงแก้ไขนวัตกรรม
2.2 การทดสอบกลุ่มเล็ก (Small group testing)
การทดสอบนวัตกรรมด้วยกลุ่มตัวแทน กลุ่มเป้าหมายกลุ่มเล็ก จำนวนประมาณ 5-10 คน การทดสอบนวัตกรรมในชั้นนี้บางครั้งอาจจะต้องกระทำมากกว่าหนึ่งครั้ง เพื่อตรวจว่าสิ่งที่แก้ไขปรับปรุงในสื่อแล้วนั้น ช่วยให้ผู้เรียนสามารถบรรลุวัตถุประสงค์ได้ดีขึ้น ถึงระดับเกณฑ์มาตรฐานแล้วหรือยัง
2.3 การทดสอบกลุ่มใหญ่ (Large group testing)
การทดสอบนวัตกรรมในขั้นนี้ เป็นการทดสอบด้วยกลุ่มตัวแทน กลุ่มเป้าหมาย กลุ่มใหญ่ ประมาณ 30-100 คน เป็นขั้นทดสอบที่หลังจากสื่อได้รับการปรับปรุงจนมีคุณภาพ หรือมาตรฐานสูง ในบางครั้งการทดสอบที่หลังจากนวัตกรรมได้รับการปรับปรุงจนมีคุณภาพ หรือมาตรฐานสูงในบางครั้ง การทดสอบขั้นนี้อาจให้ระดับมาตรฐานแก้นวัตกรรม ถ้าผู้ตรวจสอบพบผลจากกการวิเคราะห์ว่าคุณภาพสื่ออยู่ในเกณฑ์ที่น่าพอใจ
ตามที่กำหนดไว้ โดยทฤษฎีหรืออผลงานวิจัยที่เกี่ยวข้อง ก็จะหยุดการทดสอบนวัตกรรมที่ขั้นนี้ จะแจ้งผลการทดสอบสื่อขั้นนี้เป็นมาตรฐานของนวัตกรรม การประเมินผลในขั้นนี้เป็นการ ประเมินผลรวม หรือ Summative Evaluation
ในบางกรณี ผู้ตรวจสอบบางคน อาจจะให้การทดสอบภาคสนาม (Field testing) ต่อจากการทดสอบกลุ่มใหญ่และถือผลการทดสอบภาคสนามเป็นมาตรฐานของนวัตกรรมการทดสอบนี้เป็นการประเมินผลรวมอนึ่ง การประเมินผลตั้งแต่ขั้นการทดสอบหนึ่งต่อหนึ่งจนกระทั่วถึงขั้นก่อนประเมินผล รวมเป็นการวัดผลประเมินผลเพื่อปรับปรุงนวัตกรรมให้มีคุณภาพสูงตามเกณฑ์ที่กำหนดการประเมินเล่านั้นจัดว่าเป็นFormative Evaluation
3. การหาประสิทธิภาพของนวัตกรรมการเรียนการสอนโดยใช้เกณฑ์ E 1 / E 2การหาประสิทธิภาพของนวัตกรรมการเรียนการสอนวิธีการนี้ เป็นการคาดหมายของผู้จัดทำ/พัฒนานวัตกรรมการเรียนการสอนว่า เมื่อผู้เรียนได้ดำเนินการกิจกรรมตามขั้นตอนต่าง ๆ ของนวัตกรรมครบถ้วนทุกขั้นตอนแล้ว เปอร์เซ็นต์ของผลเฉลี่ยของคะแนนในระหว่างการดำเนินกิจกรรมทุกกิจกรรมของผู้เรียนทั้งหมด(คะแนนผลการทดสอบในแต่ละกิจกรรมของนวัตกรรม ครบทุกกิจกรรม)จะมีค่าใกล้เคียงกับเปอร์เซ็นต์ของคะแนนหลังการดำเนินกิจกรรมทุกกิจกรรมของผู้เรียน(ผลการทดสอบหลังการใช้นวัตกรรมนั้นๆทั้งชุดหมดแล้ว) โดยถือค่าแปรปรวนอยู่ในระหว่าง 2.5 -5% นั่นคือเปอร์เซ็นต์ของผลเฉลี่ยของคะแนน ทั้ง 2 ชุด ไม่ควรแตกต่างกันมากกว่า 5% (แตกต่างกันไม่เกิน +,- 5) สำหรับกระบวนการหาประสิทธิภาพของนวัตกรรมการเรียนการสอนด้วยวิธีการนี้ ส่วนใหญ่เมื่อจัดทำ/พัฒนานวัตกรรมการเรียนการสอนเสร็จแล้ว ครูผู้จัดทำ/พัฒนาฯจะนำนวัตกรรมดังกล่าวไปให้ผู้เรียนที่ไม่เคยเรียนกลุ่มสาระการเรียนรู้นั้น(หน่วยการเรียนรู้ที่พัฒนานวัตกรรมการเรียนรู้นั้นๆ)มาก่อน เป็นผู้ทดลองใช้นวัตกรรม แล้วนำผลการประเมินของผู้เรียนทั้ง 2 ชุด มาเทียบกับเกณฑ์ที่กำหนดว่า เป็นไปตามที่คาดหมายหรือไม่? เพียงใด? (ปกติแล้วกลุ่มสาระการเรียนรู้ที่มีเนื้อหา/องค์ความรู้เป็นความจำมักใช้เกณฑ์ 80/80, 85/85 หรือ 90/90 ส่วนกลุ่มสาระการเรียนรู้ที่เป็นทักษะ หรือเจตคติ ก็จะลดหลั่นลงไป ทั้งนี้ ล้วนขึ้นอยู่กับวัตถุประสงค์และเป้าหมายของผู้จัดทำ/พัฒนานวัตกรรมการเรียนการสอนนั้นๆเป็นประเด็นสำคัญ)
การหาประสิทธิภาพของนวัตกรรมการเรียนการสอนที่จัดทำ/พัฒนาขึ้นโดยเทคนิค E1/E2 : 80/80
นวัตกรรมการเรียนการสอนที่จัดทำ/พัฒนาขึ้น ก่อนที่จะนำไปใช้ในกิจกรรมการเรียนการสอนจริง
จะต้องมีการตรวจสอบคุณภาพของนวัตกรรมนั้นๆให้มั่นใจเสียก่อนว่า เป็นนวัตกรรมการเรียนการสอนที่มี
ความถูกต้องสมบูรณ์ทั้งรูปแบบและเนื้อหา สามารถนำไปพัฒนาศักยภาพการเรียนรู้ของนักเรียนได้อย่างมี
คุณค่าและมีประสิทธิผล การตรวจสอบคุณภาพของนวัตกรรมการเรียนการสอนทำได้หลายวิธี ในที่นี้ใคร่
เสนอเทคนิควิธีการหาประสิทธิภาพของนวัตกรรมการเรียนการสอนโดยการคำนวณผลการทดลองนำ
นวัตกรรมการเรียนการสอนไปทดลองใช้ก่อนที่จะใช้จริงเรียกว่าการหาประสิทธิภาพนวัตกรรมการเรียน
การสอนโดยเทคนิค E1/E2 : 80/80 การหาประสิทธิภาพของนวัตกรรมการเรียนการสอนวิธีการนี้ อยู่บน
สมมติฐานว่าหากนวัตกรรมการเรียนการสอนมีประสิทธิภาพจริง เมื่อผู้เรียนได้ดำเนินการกิจกรรมตาม
ขั้นตอนต่าง ๆ ของนวัตกรรมครบถ้วนทุกขั้นตอนแล้ว เปอร์เซ็นต์ผลเฉลี่ยของคะแนนในระหว่างการดำเนิน
กิจกรรมทุกกิจกรรมของผู้เรียนทั้งหมดจะมีค่าใกล้เคียงกับเปอร์เซ็นต์ของคะแนนหลังการดำเนินกิจกรรมทุก
กิจกรรมของผู้เรียน(คะแนนหลังการเรียนการสอน : Post-test) โดยถือค่าแปรปรวนอยู่ในระหว่าง 2.5 -5%
นั่นคือเปอร์เซ็นต์ของผลเฉลี่ยของคะแนนทั้ง 2 ชุด ไม่ควรแตกต่างกันมากกว่า 5% ขั้นตอนของกระบวนการ
หาประสิทธิภาพของนวัตกรรมการเรียนการสอนด้วยวิธีการนี้มี ดังนี้
1.นวัตกรรมการเรียนการสอนที่จัดทำ/พัฒนาขึ้น ไม่ว่าจะเป็นชุดฝึกเสริมทักษะ บทเรียนสำเร็จรูปชุดการสอน ฯลฯ หรืออะไรก็แล้วแต่ ในทุกกิจกรรมหรือในบทเรียนสำเร็จรูปแต่ละบท แต่ละตอน จะต้องมีแบบประเมินผลการเรียนรู้ครบถ้วนทุกบท ทุกกิจกรรม และแบบประเมินผลการเรียนรู้ประจำบท ประจำชุดทุดชุดจะต้องได้รับการการันตีว่าเป็นแบบประเมินผลการเรียนรู้ที่มีประสิทธิภาพและเที่ยงตรง โดยผ่านกระบวนการหาค่า IOC ค่า P และค่า r มาเรียบร้อยแล้ว
2.ทำนองเดียวกัน แบบประเมินผลการเรียนรู้หลังการการเรียนการสอนหรือหลังการใช้นวัตกรรมการเรียนการสอนแล้ว (Post-test) ก็ต้องผ่านกระบวนการหาความเที่ยงตรงของข้อทดสอบเช่นเดียวกับแบบประเมินผลการเรียนรู้ประจำบท ประจำชุด ในข้อ 1
3.นำนวัตกรรมการเรียนการสอน (ชุดฝึกฯ บทเรียนสำเร็จรูป ฯลฯ และรายการที่พัฒนาขึ้นในข้อ 2) ไปทดลองใช้กับนักเรียนในชั้นที่ไม่เคยเรียนรู้หน่วยการเรียนรู้/หน่วยการจัดประสบการณ์การเรียนรู้และชุดฝึกฯนี้มาก่อน เพื่อหาประสิทธิภาพของนวัตกรรม/ชุดฝึกฯ ตามเกณฑ์มาตรฐาน 80/80 โดยเริ่มทดลอง ขั้นที่ 1 ขั้นหนึ่งต่อหนึ่ง (one-to-one testing) กับนักเรียนที่ไม่เคยเรียนรู้หน่วยการเรียนรู้/หน่วยการจัดประสบการณ์
การเรียนรู้และชุดฝึกฯนี้มาก่อน จำนวน 1 คน เพื่อตรวจสอบความชัดเจนของประเด็นคำถาม พูดคุย ภาษาที่ใช้ขั้นตอนของกิจกรรม ความยากง่ายของเนื้อหา และแบบประเมินต่างๆที่ใช้ สังเกตและบันทึกพฤติกรรมการ
เรียนรู้ของนักเรียนอย่างละเอียด นำไปปรับปรุงพัฒนาเพื่อนำไปใช้ในขั้นตอนต่อไป
4.นำผลการทดลองในข้อ 3 มาพัฒนาปรับปรุงและจัดทำชุดฝึกฯ แบบประเมินต่างๆที่เกี่ยวข้อง
และแผนการจัดการเรียนรู้/แผนการจัดประสบการณ์การเรียนรู้ ครบถ้วนตามเค้าโครงที่กำหนดและออกแบบ
ไว้นำไปให้ผู้เชี่ยวชาญด้านการจัดประสบการณ์การเรียนรู้ระดับ/ช่วงชั้นเดียวกัน ซึ่งเป็นครูผู้สอนประจำชั้น/
กลุ่มสาระการเรียนรู้นั้นๆ จำนวน 5 ท่าน ช่วยตรวจสอบความสอดคล้องและเหมาะสม โดยใช้แบบตรวจสอบ
ความสอดคล้อง เหมาะสม ระหว่างจุดประสงค์การเรียนรู้กับชุดฝึกฯ และกับแบบประเมินการเรียนรู้/แบบ
ประเมินพัฒนาการต่างๆที่เกี่ยวข้องที่พัฒนาขึ้นใช้ในการพัฒนาครั้งนี้ โดยใช้สูตร
IOC=.RN
IOC แทนดัชนีความสอดคล้อง เหมาะสมของรายการข้อคำถามกับจุดประสงค์ (Index of Item Objective Congruence)
.R แทนผลรวมคะแนนความคิดเห็นของผู้เชี่ยวชาญทุกคน
N แทนจำนวนผู้เชี่ยวชาญ
คัดเลือกรายการข้อคำถามที่มีค่า IOC ตั้งแต่ .05 ขึ้นไป มาใช้ในการพัฒนาครั้งนี้
5.นำผลการดำเนินการในข้อ 4 มาพัฒนาปรับปรุงชุดฝึกฯ แบบประเมินต่างๆที่เกี่ยวข้อง รวมทั้ง
แผนการจัดการเรียนรู้/แผนการจัดประสบการณ์การเรียนรู้ ตามข้อเสนอแนะของผู้เชี่ยวชาญ แล้วนำไปทดลอง
ขั้นกลุ่มขนาดเล็ก (small group testing) กับนักเรียนในชั้นที่ไม่เคยเรียนรู้หน่วยการเรียนรู้/หน่วยการจัด
ประสบการณ์การเรียนรู้และชุดฝึกฯนี้มาก่อน ซึ่งไม่ใช่นักเรียนในขั้นที่ 3 จำนวน 10-20 คน เมื่อนักเรียน
ดำเนินกิจกรรมตามแผนที่กำหนดเสร็จแล้ว ให้นักเรียนทำแบบประเมินฯที่เตรียมไว้สำหรับใช้ประเมินผลการ
เรียนรู้/ประเมินพัฒนาการของนักเรียนก่อน-หลังการพัฒนา บันทึกผลการทดลองในขั้นนี้อย่างละเอียด แล้วนำ
ข้อมูลไปปรับปรุงพัฒนานวัตกรรม/ชุดฝึกฯ แบบประเมินต่างๆที่เกี่ยวข้อง รวมทั้งแผนการจัดการเรียนรู้/
แผนการจัดประสบการณ์การเรียนรู้ อีกครั้งหนึ่ง
6.นำนวัตกรรม/ชุดฝึกฯ แบบประเมินต่างๆที่เกี่ยวข้อง และแผนการจัดการเรียนรู้/แผนการจัด
ประสบการณ์การเรียนรู้ ที่ปรับปรุงพัฒนาแล้วในข้อ 5 ให้ผู้เชี่ยวชาญด้านเทคนิคการจัดการเรียนรู้ ด้านสื่อ
วัสดุอุปกรณ์การเรียนรู้ และด้านการนิเทศการเรียนการสอน ซึ่งเป็นศึกษานิเทศก์ จำนวนไม่ควรน้อยกว่า
5 ท่าน ช่วยตรวจสอบความสอดคล้อง เหมาะสมและประสิทธิภาพของนวัตกรรม/ชุดฝึกฯ แบบประเมินต่างๆ
ที่เกี่ยวข้อง และแผนการจัดการเรียนรู้/แผนการจัดประสบการณ์การเรียนรู้ โดยใช้แบบตรวจสอบความ
สอดคล้อง เหมาะสมและประสิทธิภาพของนวัตกรรม/ชุดฝึกฯ จุดประสงค์การเรียนรู้ และแบบประเมินต่างๆ
ของนักเรียน
7.นำผลการดำเนินการในข้อ 6 มาพัฒนาปรับปรุงชุดฝึกฯ แบบประเมินต่างๆที่เกี่ยวข้อง รวมทั้งผนการจัดการเรียนรู้/แผนการจัดประสบการณ์การเรียนรู้ ตามข้อเสนอแนะของผู้เชี่ยวชาญ แล้วนำไปทดลอง
ในขั้นกลุ่มภาคสนาม (field testing) กับนักเรียนในชั้นซึ่งไม่เคยเรียนรู้หน่วยการเรียนรู้/หน่วยการจัดระสบการณ์การเรียนรู้และนวัตกรรม/ชุดฝึกฯนี้มาก่อน อย่างน้อยไม่ต่ำกว่า 1 ห้องเรียน จำนวนไม่ควรน้อยกว่า 30 คน เมื่อนักเรียนดำเนินกิจกรรมตามแผนที่กำหนดเสร็จแล้ว ให้นักเรียนทำแบบประเมินฯที่เตรียมไว้ใช้สำหรับประเมินฯนักเรียน ก่อน-หลังการพัฒนา บันทึกผลการทดลองในขั้นนี้อย่างละเอียด แล้วนำข้อมูลไปปรับปรุงพัฒนานวัตกรรม/ชุดฝึกฯ แบบประเมินต่างๆ และแผนการจัดการเรียนรู้/แผนการจัดประสบการณ์การเรียนรู้ อีกครั้งหนึ่ง ก่อนที่จะนำไปใช้พัฒนานักเรียนในกลุ่มตัวอย่างจริง ต่อไปการนำนวัตกรรมการเรียนการสอนที่จัดทำ/พัฒนาขึ้น ไปทดลองใช้กับนักเรียนตามขั้นตอนดังกล่าวข้างต้น นำคะแนนผลการประเมินผลการเรียนรู้ในแต่ละบท แต่ละตอนหรือแต่ละชุดของทุกชุด(E1) กับคะแนนผลการประเมินผลการเรียนรู้หลังจบกิจกรรมทุกกิจกรรม (E2 : Post-test)มาเปรียบเทียบกันว่ามีความแปรปรวนเท่าไร และค่าของ E1/E2 ที่ได้ออกมามีค่าเท่าไร หากไม่ได้ตามหลักเกณฑ์ที่กำหนด แสดงว่านวัตกรรมการเรียนการสอนที่จัดทำ/พัฒนาขึ้นยังมีประสิทธิภาพน้อย ไม่สมควรนำไปใช้จริง ควรที่จะต้องพัฒนาปรับปรุงใหม่จนแน่ใจว่ามีประสิทธิภาพแล้ว จึงจะนำไปใช้ได้ การคำนวณหาประสิทธิภาพนวัตกรรมการเรียนการสอนโดยใช้เกณฑ์ E1/ E2 ใช้สูตร
การกำหนดเกณฑ์การหาประสิทธิภาพ
การกำหนดเกณฑ์ E1 / E2 ให้มีค่าเท่าใด ควรกำหนดไว้ก่อนว่าในครั้งนี้ว่าจะให้มาตรฐานหรือเกณฑ์มาตรฐานเท่าใด โดยยึดเกณฑ์ในการพิจารณากำหนดเกณฑ์มาตรฐาน ดังนี้
1) เนื้อหาวิชาที่เป็นความรู้ ความจำ ควรตั้งเกณฑ์ให้สูงไว้ คือ 80/80, 85/85, 90/90
2) เนื้อหาวิชาที่เป็นทักษะหรือเจตคติ ควรตั้งเกณฑ์ให้ต่ำลงมาเล็กน้อย คือ 70/70, 75/75
แต่อาจตั้งเกณฑ์สูงกว่านี้ก็ได้
- การคำนวณหาประสิทธิภาพของผลลัพธ์ (E1)
ประสิทธิภาพของกระบวนการ(E1) หมายถึง ประเมินพฤติกรรมย่อยๆจากการทำกิจกรรมของผู้เรียนในบทเรียนทุกกิจกรรม(ทุกกรอบ/ข้อ) หรือจากการที่นักเรียนได้อ่านบทเรียนถูกมากน้อยเพียงใด ซึ่งหาได้จากสูตร
E1=.XNA .100
E1 หมายถึง ประสิทธิภาพของกระบวนการดำเนินกิจกรรมของนวัตกรรมการเรียนการสอน
.Xหมายถึง คะแนนรวมของการประเมินผลในทุกหน่วย ทุกบท ทุกชุด ในระหว่างการดำเนินการ
ของผู้เรียนทุกคน
A หมายถึง ผลรวมของคะแนนเต็มของแบบประเมินผลทุกหน่วย ทุกบท ทุกชุด ของนวัตกรรม
การเรียนการสอน
N หมายถึง จำนวนผู้เรียน
- การคำนวณหาประสิทธิภาพของผลลัพธ์ (E2)
ประสิทธิภาพของผลลัพธ์(E2) หมายถึง การประเมินผลลัพธ์(Product) ของนักเรียนโดย
พิจารณาจากผลการทดสอบหลังเรียน(Post-test)
E2=.FNB .100
E2 หมายถึง ประสิทธิภาพของผลลัพธ์จากการดำเนินกิจกรรมของนวัตกรรมการเรียนการสอน
.Fหมายถึง คะแนนรวมของการประเมินหลังดำเนินกิจกรรมเสร็จสิ้นทุกหน่วย ทุกบท ทุกชุด
ของผู้เรียนทุกคน
B หมายถึง คะแนนเต็มของแบบประเมินหลังการดำเนินกิจกรรมเสร็จสิ้นทุกหน่วย ทุกบท ทุกชุด
N หมายถึง จำนวนผู้เรียน
8.หลังจากคำนวณค่า E1/E2 ออกมาแล้ว หากไม่เป็นไปตามหลักเกณฑ์ที่กำหนดข้างต้น จะต้องพัฒนาปรับปรุงนวัตกรรมการเรียนการสอนที่จัดทำ/พัฒนาขึ้นใหม่ แล้วทดลองซ้ำ จนกว่าจะเป็นไปตามหลักเกณฑ์ที่กำหนด
การยอมรับประสิทธิภาพ
1. สูงกว่าเกณฑ์ คือ ตั้งเกณฑ์ E1 / E2 ไว้ แล้วได้ค่าประสิทธิภาพสูงกว่าเกณฑ์ที่กำหนดไว้ เช่น ตั้งเกณฑ์มาตรฐานไว้ 80/80 แล้วคำนวณค่าประสิทธิภาพบทเรียนสำเร็จรูปได้ 85/85
2. เท่าเกณฑ์ คือ ตั้งเกณฑ์ E1 / E2 ไว้ แล้วได้ค่าประสิทธิภาพเท่ากับเกณฑ์ที่ตั้งไว้พอดี เช่น ตั้งเกณฑ์มาตรฐานไว้ 80/80 แล้วคำนวณค่าประสิทธิภาพบทเรียนสำเร็จรูปได้ 80/80
3. ต่ำกว่าเกณฑ์ คือ ตั้งเกณฑ์ E1 / E2 ไว้ แล้วได้ค่าประสิทธิภาพต่ำกว่าเกณฑ์ที่ตั้งไว้ ไม่เกิน + 2.5 %
การทดสอบประสิทธิภาพโดยยึดเกณฑ์มาตรฐาน 90/90
ผู้ที่เสนอแนวคิด เกณฑ์มาตรฐาน 90/90 (The 90/90 Standard) คนแรก(ในประเทศไทย)คือ รองศาสตราจารย์ ดร.เปรื่อง กุมุท ภาควิชาเทคโนโลยีการศึกษา มหาวิทยาลัย ศรีนครินทรวิโรฒ ซึ่งเขียนหนังสือ ชื่อ เทคนิคการเขียนบทเรียนโปรแกรม (เปรื่อง กุมุท. 2519) หลักการของเกณฑ์มาตรฐาน 90/90 เป็นวิธีการที่ได้รับการพัฒนามาเพื่อสะท้อน ประสิทธิภาพของบทเรียนโปรแกรม(Programmed textbook) มีหลักการจิตวิทยาที่สนับสนุนแนวคิด การประเมินตามแนวทางนี้อย่างชัดเจน การที่จะนำวิธีการประเมินตาม
แนวทางนี้ไปใช้นักวิจัยหรือนักการศึกษา ควรที่จะต้องทำความเข้าใจให้ชัดเจน เพราะปัจจุบันมีงานวิจัยจำนวนมากได้มีการกำหนดนิยามเกณฑ์ประสิทธิภาพขึ้นมาใหม่โดยขาดหลักการและแนวคิดที่มารองรับ ทำให้การสะท้อนค่าประสิทธิภาพเกิดประโยชน์น้อย
แนวคิดพื้นฐานของการสร้างเกณฑ์มาตรฐาน 90/90
การประเมินตามแนวคิดเกณฑ์ประสิทธิภาพ 90/90 เป็นการบอกค่าประสิทธิภาพของบทเรียนสำเร็จรูป หรือบทเรียนโปรแกรม(Programmed Materials หรือ Programmed Textbookหรือ Programmed Lesson) ซึ่งเป็นสื่อที่มีเป้าหมายหลักเพื่อให้ผู้เรียนใช้เรียนด้วยตนเองเป็นสำคัญ หลักจิตวิทยาสำคัญที่เป็นฐานคิดความเชื่อของสื่อชนิดนี้คือทฤษฎีการเรียนแบบรอบรู้ (Mastery Learning) ซึ่งมีความเชื่อว่า
ผู้เรียนทุกคนสามารถเรียนรู้ได้ หากจัดเวลาเพียงพอจัดวิธีการเรียนที่เหมาะสมกับผู้เรียนก็สามารถที่จะทำให้ผู้เรียนสามารถเรียนรู้ได้ตามวัตถุประสงค์ของการเรียนได้ (Bloom. 1981)
นิยามความหมาย “เกณฑ์มาตรฐาน 90/90”
ก่อนอื่นต้องขอย้ำอีกครั้งว่า “เกณฑ์มาตรฐาน 90/90” กับการเขียนค่าประสิทธิภาพ E1/E2 =90/90” หรือ “80/80” เป็นคนละแนวคิดทั้งนี้เนื่องจากในวงวิชาการการวิจัยและพัฒนาสื่อมีงานวิจัย จำนวนมาก ที่เขียนสื่อสารการหาประสิทธิภาพสื่อที่ก่อให้เกิดความสับสนและกำหนดนิยามความหมายการหาค่าประสิทธิภาพขึ้นมาเอง ซึ่งแตกต่างไปจากนิยามดั้งเดิมที่มีแนวคิดหลักการสนับสนุน โดยนิยามความหมาย
“เกณฑ์มาตรฐาน 90/90” (The 90/90 Standard)ดั้งเดิม คือ
90 ตัวแรก เป็นคะแนนเฉลี่ยของทั้งกลุ่มซึ่งหมายถึงนักเรียนทุกคน เมื่อสอนครั้งหลังเสร็จให้คะแนนเสร็จ นำคะแนนมาหาค่าร้อยละให้หมดทุกคะแนนแล้วหาค่าร้อยละเฉลี่ยของทั้งกลุ่ม ถ้าบทเรียนโปรแกรมถึงเกณฑ์ ค่าร้อยละเฉลี่ยของกลุ่มจะต้องเป็น 90 หรือสูงกว่า (เปรื่อง กุมุท, 2519, หน้า 129)
90 ตัวที่สองแทนคุณสมบัติที่ว่า ร้อยละ 90 ของนักเรียนทั้งหมด ได้รับผลสัมฤทธ์ ตามความ
มุ่งหมายแต่ละข้อ และทุกข้อของบทเรียนโปรแกรมนั้น (เปรื่อง กุมุท. 2519: 129)
การวิเคราะห์ประสิทธิภาพตามเกณฑ์มาตรฐาน90/90
การกำหนดวิธีการหาประสิทธิภาพตามเกณฑ์มาตรฐาน 90/90 มีความหมายต่าง ๆ กันไปตามผู้ที่ตีความ แต่หากพิจารณาตามหลักการและแนวคิดของบลูม (Bloom, 1981) ที่พัฒนาแนวทางการจัดการเรียนเพื่อรอบรู้ ประกอบกับแนวคิดของรองศาสตราจารย์ ดร.เปรื่อง กุมุท (2519) ที่เสนอแนวคิดเกี่ยวกับเกณฑ์มาตรฐาน 90/90 ไว้ดังนี้ “เราขอให้ 90 ตัวแรก เป็นคะแนนเฉลี่ยของทั้งกลุ่มซึ่งหมายถึงนักเรียนทุกคน เมื่อสอนครั้งหลังเสร็จให้คะแนนเสร็จ นำคะแนนหาค่าร้อยละให้หมดทุกคะแนน แล้วหาค่าร้อยละเฉลี่ยของทั้งกลุ่ม ถ้าบทเรียนโปรแกรมถึงเกณฑ์ ค่าร้อยละเฉลี่ยของกลุ่มจะต้องเป็น 90 หรือสูงกว่า”“90 ตัวที่สอง แทนคุณสมบัติที่ว่า ร้อยละ90 ของนักเรียนทั้งหมด ได้รับผลสัมฤทธ์ตามความมุ่งหมายแต่ละข้อ และทุกข้อของบทเรียนโปรแกรมนั้น สมมติว่าบทเรียนทั้งบท วัดทุกจุดมุ่งหมายด้วยข้อสอบจำนวน 10 ข้อ และเราทดสอบ
นักเรียน 100 คน ด้วยข้อสอบนี้ เราจะไม่ยอมให้นักเรียนทำข้อไหนผิดเลย ได้ 90 คน หรือมากกว่าที่ทำผิดบางข้อขึ้นเกินกว่าร้อยละ 10 จะต้องมีการแก้ไขข้อนั้น ๆ เสียใหม่ แล้วทำการทดสอบบทเรียนอีก” (เปรื่อง กุมุท, 2519 หน้า 129)
จากความเห็นข้างต้น หากนำมาผนวกกับองค์ความรู้ด้านการวัดผลและประเมินผลที่ว่าการสร้างข้อสอบที่ดี จะต้องมีข้อสอบที่เป็นตัวแทนในการวัดตามวัตถุประสงค์เชิงพฤติกรรมให้ครบถ้วนและในแต่ละวัตถุประสงค์เชิงพฤติกรรมนั้นมีข้อสอบมากกว่าหนึ่งข้อ เป็นตัวชี้วัดว่าผู้เรียนมีความรู้ตรงตามเกณฑ์ของวัตถุประสงค์เชิงพฤติกรรมหรือไม่ ดังนั้น การกำหนดนิยามเกณฑ์มาตรฐาน90/90 ที่ชัดเจนจะเป็นดังนี้
90 ตัวแรก หมายถึงร้อยละของคะแนนเฉลี่ยของผู้เรียนทั้งกลุ่มที่ได้จากการวัดด้วยแบบทดสอบวัดความรอบรู้หลังจากเรียนจากบทเรียนที่สร้างขึ้นจบลง
90 ตัวหลัง หมายถึง ร้อยละของจำนวนนักเรียนที่สามารถทำแบบทดสอบ (วัดความรอบรู้หลังการเรียนจากบทเรียนที่สร้างขึ้นจบลง) โดยสามารถทำแบบทดสอบได้ผ่านตามเกณฑ์วัตถุประสงค์ ทุกวัตถุประสงค์
วิธีการคำนวณค่าประสิทธิภาพ
1.สร้างตารางบันทึกผลการสอบหลังเรียนกระบวนการใช้สื่อที่เรียนรู้ด้วยตนเองจะจบลงเมื่อผู้เรียนได้นำสื่อไปเรียนรู้ด้วยตนเองเป็นรายบุคคลจนจบ และอาจจะเรียนหลายรอบในคราวเดียวกันก็ได้ จนผู้เรียนมั่นใจว่ามีความรอบรู้ในเรื่องนั้น ๆ อย่างเพียงพอแล้ว ก็จะต้องมาผ่านการทดสอบด้วยแบบทดสอบหลังเรียนที่ผู้วิจัยได้พัฒนาไว้แล้ว (ตามวัตถุประสงค์การเรียนรู้ของบทเรียน) เมื่อผู้เรียนได้ผ่านการทดสอบจนครบ นำผลการทำข้อสอบของผู้เรียนแต่ละคนมาบันทึกลงในตารางบันทึกผลการสอบหลังเรียน ซึ่งตารางบันทึกผลการสอบนี้จะต้องแยกหมวดหมู่ของข้อสอบตามแต่ละวัตถุประสงค์เพื่อสะดวกต่อการพิจารณาการผ่านตามเกณฑ์ที่กำหนดไว้ในวัตถุประสงค์การเรียนรู้
2.ตรวจผลการสอบของผู้เรียนแต่ละคนดำเนินการตรวจผลการสอบว่าผู้เรียนแต่ละคนได้คะแนนจากการสอบหลังเรียนคนละกี่คะแนน
3.พิจารณาผลการสอบว่าผ่านเกณฑ์ตามที่กำหนดไว้ในวัตถุประสงค์เชิงพฤติกรรมเท่าใดดำเนินการพิจารณาผู้เรียนเป็นรายบุคคลทีละวัตถุประสงค์เชิงพฤติกรรมว่าผู้เรียนคนแรกมีผลการสอบตามวัตถุ ประสงค์เชิงพฤติกรรมที่ 1หรือไม่ หากผ่านตามเกณฑ์ที่กำหนดไว้ ก็พิจารณาวัตถุประสงค์ที่ 2 ต่อไป หากไม่ผ่านก็พิจารณาผู้เรียนคนใหม่ต่อไป แต่ถ้าผ่านก็พิจารณาวัตถุประสงค์ที่3 ต่อไป เช่นนี้จนครบทุกวัตถุ ประสงค์ หากผู้เรียนมีผลการสอบ”ผ่าน” ทุกจุดประสงค์เชิงพฤติกรรมก็จะเริ่มนับผู้เรียน คนนั้นเป็นคนที่ 1กระทำลักษณะเช่นนี้กับผู้เรียนทุกคน ทีละคนเรื่อยไปจนครบ ก็จะทำให้ได้จำนวนผู้เรียนที่ผ่านทุกวัตถุ ประสงค์เชิงพฤติกรรม เพื่อนำไปคำนวณค่าประสิทธิภาพ 90 ตัวหลัง ต่อไป
4.คำนวณประสิทธิภาพสูตรที่ใช้คำนวณ
90 ตัวแรก ={(. X /N) X 100)}/R
90 ตัวแรก หมายถึง จำนวนร้อยละของคะแนนเฉลี่ยของการทดสอบหลังเรียน
.X หมายถึง คะแนนรวมของผลการทดสอบที่ผู้เรียนแต่ละคน ทำได้ถูกต้องจากการทดสอบหลังเรียน
N หมายถึง จำนวนผู้เรียนทั้งหมดที่ใช้เป็นกลุ่มตัวอย่างในการคำนวณประสิทธิภาพครั้งนี้
R หมายถึง จำนวนคะแนนเต็ม ของแบบทดสอบหลังเรียน
90 ตัวหลัง= (Y x 100)/ N
90 ตัวหลัง หมายถึง จำนวนร้อยละของผู้เรียนที่สามารถทำแบบทดสอบผ่านทุกวัตถุประสงค์
Y หมายถึง จำนวนผู้เรียนที่สามารถทำแบบทดสอบผ่านทุกวัตถุประสงค์
N หมายถึง จำนวนผู้เรียนทั้งหมดที่ใช้เป็นกลุ่มตัวอย่างในการคำนวณประสิทธิภาพครั้งนี้
การทดสอบประสิทธิภาพตามเกณฑ์ประสิทธิภาพ E1/E2
การพัฒนาแนวคิดการประเมินด้วยวิธีนี้เกิดขึ้นโดย ศาสตราจารย์ ดร.ชัยยงค์ พรหมวงศ์(ชัยยงค์ พรหมวงศ์, 2520, หน้า 135) ซึ่งเป็นแนวคิดที่กำหนดขึ้นเพื่อการหาประสิทธิภาพของชุดการสอนและสื่อการสอนประเภทต่าง ๆ ยกเว้นบทเรียนแบบโปรแกรม เนื่องจากมีวิธีทดสอบประสิทธิภาพการกำหนดเกณฑ์ประสิทธิภาพกระทำได้ โดยการประเมินผลพฤติกรรมของผู้เรียน 2 ประเภท คือ พฤติกรรมต่อเนื่อง
(กระบวนการ) และพฤติกรรมขั้นสุดท้าย (ผลลัพธ์)โดยกำหนดค่าประสิทธิภาพเป็น E1 (ประสิทธิภาพ
ของกระบวนการ) E2 (ประสิทธิภาพของผลลัพธ์)
1. ประเมินพฤติกรรมต่อเนื่อง(Transitional Behavior) คือประเมินผลต่อเนื่องซึ่งประกอบด้วยพฤติกรรมย่อยหลาย ๆ พฤติกรรมเรียกว่า “กระบวนการ” (PROCESS) ของผู้เรียนที่สังเกตจากการประกอบกิจกรรมกลุ่ม (รายงานของกลุ่ม) และรายงานบุคคล ได้แก่งานที่มอบหมายและกิจกรรมอื่นใดที่ผู้สอนกำหนดไว้
2. ประเมินพฤติกรรมขั้นสุดท้าย(Terminal Behavior) คือ ประเมินผลลัพธ์(PRODUCTS) ของเรียนโดยพิจารณาจากการสอบหลังเรียนและการสอบไล่
ประสิทธิภาพของชุดการสอนจะ กำหนดเป็นเกณฑ์ ที่ผู้สอนคาดหมายว่าผู้เรียนจะเปลี่ยนพฤติกรรมเป็นที่พึงพอใจ โดยกำหนดให้เป็นร้อยละของผลเฉลี่ยของคะแนนการทำงานและการประกอบกิจกรรมของผู้เรียนทั้งหมดต่อเปอร์เซ็นต์ของผลการสอบหลังเรียนของผู้เรียนทั้งหมด นั่นคือ E1/E2 คือ ประสิทธิภาพของกระบวนการ/ ประสิทธิภาพของผลลัพธ์(ชัยยงค์ พรหมวงศ์, 2520)
หลักการพื้นฐานที่มาของแนวคิดการหาประสิทธิภาพ ชุดการสอน (E1/E2 ) มีแนวคิดพื้นฐานที่สำคัญประกอบด้วย
1.การสร้างการมีส่วนร่วมในกิจกรรมการเรียนรู้อย่างแข็งขันกระฉับกระเฉง (Active Participation) โดยมีความเชื่อว่า การที่ผู้เรียนได้เป็นผู้ลงมือปฏิบัติเข้ามามีส่วนร่วมทั้งกายและใจจะทำให้ผู้เรียนได้รับประสบการณ์ตรงด้วยตนเองในระหว่างการเรียนซึ่งหากกระบวนการเรียนจากชุดการสอนสามารถทำให้ผู้เรียนนำทั้งการและใจมาร่วมในการเรียนรู้ได้ตลอดก็น่าจะเชื่อได้ว่าผลการเรียนรู้ขั้นสุดท้ายก็น่าจะดีตามไปด้วย ซึ่งแนวคิดดังกล่าวสอดคล้องกับหลักการของทฤษฎี
2. การจัดประสบการณ์การเรียนรู้แบบค่อยเป็นค่อยไปทีละเล็กทีละน้อย (Gradual Approximation) โดยการจัดเรียงลำดับเนื้อหาสาระจากง่ายไปหายาก จากสิ่งที่ซับซ้อนน้อยค่อย ๆ เพิ่มความซับซ้อนสะสมมากขึ้นตามลำดับ
3.การจัดประสบการณ์แห่งความสำเร็จ(Success Experience) เพื่อสร้างความรู้สึกที่ดีความรู้สึกภาคภูมิใจในตนเอง ให้เกิดขึ้นในตัวผู้เรียน สร้างให้ผู้เรียนรู้สึกตระหนักในศักยภาพของตนเอง เพื่อให้เกิดความมั่นใจมีพลังใจในการที่จะพยายามเรียนรู้ต่อไปอย่างมีพลังและกระตือรือร้นมีชีวิตชีวา
4.การให้ข้อมูลย้อนกลับแบบทันที ทันใด(Immediate Feedback) เป็นการให้ข้อมูลย้อนกลับแก่ผู้เรียนเพื่อให้ผู้เรียนได้รับทราบผลของการกระทำที่ตนเองได้กระทำลงไประหว่างการเรียนว่าผลของการกระทำดังกล่าวกระทำได้ถูกต้องมีคุณภาพเพียงใด มีจุดเด่น จุดอ่อน ตรงไหนบ้างซึ่งข้อมูลย้อนกลับจะเป็นส่วนสำคัญที่ทำให้ผู้เรียนเกิดการปรับตัว เปลี่ยนแปลงพฤติกรรม ไปสู่ทิศทางที่เป็นเป้าหมายของการเรียนรู้ (มนตรีแย้มกสิกร, 2549)
จากหลักการข้างต้น เป็นการนำหลักการของทฤษฎีการวางเงื่อนไขแบบเชื่อมโยงกับผลของการกระทำ (Operant conditioning)มาประยุกต์ใช้นั่นเอง
จุดเด่นของการสะท้อนค่าประสิทธิภาพสื่อแบบ E1/E2 คือ จะสามารถพิจารณาและตรวจสอบผู้เรียนได้ว่า กระบวนการเรียนรู้ระหว่างทางก่อนที่จะไปถึงจุดหมายปลายทางของการเรียนรู้นั้น ผู้เรียนมีพัฒนาการของการเรียนรู้เป็นอย่างไร หากมีปัญหาเกิดขึ้นสามารถตรวจสอบย้อนหลังได้ว่า ผู้เรียนมีปัญหาตั้งแต่จุดใดและเป็นปัญหาอย่างไรได้ นอกจากนั้นการหาประสิทธิภาพด้วยวิธีนี้ยังสามารถพิจารณาและตรวจสอบได้ว่าผลการเรียนรู้รวบยอดสุดท้าย เป็นอย่างไร
จุดอ่อนของการสะท้อนค่าประสิทธิภาพสื่อแบบ E1/E2 คือ การแสดงค่าประสิทธิภาพของกระบวนการระหว่างเรียน และค่าประสิทธิภาพรวบยอดของผลสัมฤทธิ์ทางการเรียนนั้นยังเป็นการแสดงค่าแบบรวม โดยมองเฉพาะภาพรวมของกลุ่ม ยังขาดกระบวนการที่จะพิจารณา
ผลการเรียนรู้เป็นรายบุคคล นอกจากนั้นค่าประสิทธิภาพที่แสดงออกมาเท่ากันของสองกลุ่ม
แต่คุณภาพการเรียนรู้ของผู้เรียนสองกลุ่มนั้นอาจจะมีการกระจายของระดับความสามารถของผู้เรียนที่แตกต่างกัน (Learner ability deviation)
นิยามประสิทธิภาพ E1/E2
E1 หมายถึง ค่าร้อยละของคะแนนเฉลี่ยที่เกิดจากการทำกิจกรรมระหว่างเรียนจากชุดการสอนของผู้เรียน (ประสิทธิภาพของกระบวนการเรียนรู้)
E2 หมายถึง ค่าร้อยละของคะแนนเฉลี่ยที่เกิดจากการทำแบบทดสอบหลังการเรียนของผู้เรียน (ประสิทธิภาพของผลลัพธ์การเรียนรู้) E1=.XNA .100
การคำนวณสามารถคำนวณได้จากสูตรเมื่อ
E1 หมายถึง ค่าประสิทธิภาพของกระบวนการเรียนรู้
.X หมายถึง ผลรวมของคะแนนกิจกรรมระหว่างเรียนของผู้เรียนทุกคน (N คน)
N หมายถึง จำนวนผู้เรียนที่ใช้ในการประเมินประสิทธิภาพชุดการสอนครั้งนี้
A หมายถึง คะแนนเต็มของกิจกรรมระหว่างเรียน
E2=.FNB .100
E2 หมายถึง ค่าประสิทธิภาพของผลลัพธ์การเรียนรู้
.F หมายถึง ผลรวมของคะแนนที่ได้จากแบบทดสอบหลังเ