Scoring System

การให้คะแนน

Scoring System

พันเอก มารวย ส่งทานินทร์

[email protected]

16 กรกฎาคม 2558

บทความเรื่อง การให้คะแนน (Scoring System) ประพันธ์โดย Mark L. Blazey ในหนังสือ Insights to Performance Excellence 2015-2016: Using the Integrated Management System and the Baldrige Framework จัดจำหน่ายโดย ASQ Quality Press, Milwaukee, Wisconsin, 2015

ผู้ที่สนใจเอกสารแบบ PowerPoint (PDF file) สามารถ Download ได้ที่ http://www.slideshare.net/maruay/scoring-system-50624744

สรุปสำหรับผู้บริหาร

• เพื่อช่วยบรรเทาปัญหาการให้คะแนน ของการดำเนินงานสู่ความเป็นเลิศตามโครงการ Baldrige Performance Excellence Program คำนิยามใหม่ของแนวทางการให้คะแนน จะมุ่งเน้นความสนใจไปที่การเลื่อนตามลำดับชั้นของ ข้อกำหนดพื้นฐาน ข้อกำหนดโดยรวม และข้อกำหนดย่อย (from basic to overall to multiple requirements)
• วัตถุประสงค์ของการลำดับชั้นนี้คือ ให้ผู้ตรวจประเมินมุ่งเน้นไปที่ปัจจัยที่สำคัญที่สุด (most important factors) ของแต่ละผู้สมัคร ที่มีความจำเป็นในการพัฒนา เพื่อมุ่งสู่ในระดับสูงขึ้นต่อไป และไม่ทำให้กระบวนการตรวจประเมิน เป็นการตรวจสอบรายการปฏิบัติ (checklist)

++++++++++++++++++++++++

เกริ่นนำ

• เกณฑ์ Baldrige ร่วมกับแนวทางการให้คะแนน เป็นเครื่องมือในการวินิจฉัย ที่จะระบุจุดแข็งและโอกาสพัฒนา เพื่อช่วยผู้นำมุ่งเน้นทรัพยากรที่จำเป็นของพวกเขา ในการพัฒนาขึ้นสู่ระดับต่อไป
• เพราะผู้ตรวจประเมินมีแนวโน้มที่จะเลือกปัญหาที่จุกจิกน่ารำคาญ เป็นโอกาสในการปรับปรุง ทำให้การให้คะแนนอยู่ในระดับต่ำ ไม่เหมาะสม และการแสดงความคิดเห็นก็ไม่ได้มุ่งเน้นอย่างถูกต้อง (scores were inappropriately low and comments were not properly focused)

จุดแข็งและโอกาสพัฒนา

• จุดแข็ง (strengths) คือความคิดเห็นที่อธิบายกระบวนการและระบบที่ผู้สมัครมีอยู่ ที่สนับสนุนและเป็นธรรมกับคะแนนที่ได้รับ
• โอกาสพัฒนา (opportunities for improvement) คือการแสดงความคิดเห็นของกระบวนการที่สำคัญหรือระบบ (vital few processes or systems) ที่ผู้สมัครไม่มี ทำให้ไม่สามารถพัฒนาสู่ระดับที่สูงขึ้นได้

การตีความหมาย เกณฑ์และแนวทางการให้คะแนน

• เพื่อให้บรรลุวัตถุประสงค์นี้ เป็นสิ่งจำเป็นที่ ผู้ตรวจประเมิน (examiners) ตามเกณฑ์ Baldrige ทุกคน มีการรับรู้ ตีความเกณฑ์ และแนวทางการให้คะแนน สำหรับการตรวจประเมินระดับชาติ ระดับภูมิภาค หรือในองค์กร อย่างเสมอต้นเสมอปลาย (consistently)
• แต่น่าเสียดาย ที่กระบวนการและคำจำกัดความที่นำเสนอในเกณฑ์ ตั้งแต่ปี ค.ศ. 2003 ถึง 2015-2016 และแนวทางการให้คะแนน ไม่ได้ช่วยให้ผู้ตรวจประเมินทั้งหลายบรรลุวัตถุประสงค์นี้

ข้อกำหนดขั้นพื้นฐานและข้อกำหนดโดยรวม

• ผู้ตรวจประเมินมีความคิดเห็นที่แตกต่างกัน ของ ข้อกำหนดขั้นพื้นฐานและโดยรวม (basic and overall requirements) ทำให้ความคิดเห็นและคะแนนของพวกเขาไม่ไม่สอดคล้อง จากทีมหนึ่งกับอีกทีมหนึ่ง หรือระหว่างผู้ตรวจประเมินด้วยกันเอง
• มันเป็นเรื่องยาก ที่จะดำเนินการประเมินความถูกต้องอย่างเที่ยงตรง เมื่อผู้ตรวจประเมินมีการตีความของขั้นพื้นฐานและความต้องการโดยรวม แตกต่างกัน

คำนิยามอย่างเป็นทางการ

• ในช่วง 12 ปีที่ผ่านมา จากการเทียบเคียงแนวทางให้คะแนนของ เกณฑ์การให้คะแนน (Baldrige Scoring Calibration Guidelines) แนวทางในหนังสือเล่มนี้ มีความสอดคล้องกับคะแนนที่ได้จากผู้ตรวจประเมินอาวุโสที่สุดของ Baldrige (consistent with the scores that the most senior Baldrige examiners produced) ตามแนวทางการให้คะแนนอย่างเป็นทางการ

"ข้อกำหนดขั้นพื้นฐาน" (basic requirements)

• หมายถึงแนวคิดที่เป็นแก่นของเกณฑ์ Baldrige ที่แสดงอยู่ในรูปคำถาม ของชื่อหัวข้อ (as presented in the Item title question)
• เพียงการตอบสนองข้อกำหนดขั้นพื้นฐานของหัวข้อ อาจส่งผลให้ได้คะแนนที่ 10-45% ขึ้นอยู่กับระดับของการพัฒนา ความสอดคล้องของระบบพื้นฐาน และขอบเขตของการใช้งานของระบบเหล่านั้น

"ข้อกำหนดโดยรวม" (overall requirements)

• หมายถึงคุณสมบัติที่สำคัญที่สุดของ หัวข้อ (Item) นั้น ๆ ในคำถามแรก (คำถามนำ ตัวหนา) ของประเด็นพิจารณา (as elaborated in the first question (the leading question in boldface) under each lettered/numbered Area to Address)
• การตอบสนองข้อกำหนดโดยรวม อาจส่งผลให้ได้คะแนนที่ 50%, 55%, 60% หรือ 65% ขึ้นอยู่กับวุฒิภาวะของระบบโดยรวม ขอบเขตของการใช้งานของระบบเหล่านั้น ขอบเขตของการประเมินผลอย่างเป็นระบบ การปรับปรุง นวัตกรรม และการบูรณาการระบบเหล่านั้น

"ข้อกำหนดย่อย" (multiple requirements)

• หมายถึงรายละเอียดของหัวข้อ (Item) ตามที่แสดงอยู่ในคำถามย่อย ๆ ของแต่ละประเด็นพิจารณา (as expressed in the individual questions under each lettered Area to Address)
• สำนักงาน Baldrige กล่าวว่า ความต้องการแรกในรูปแบบตัวหนา (first requirement expressed in boldface) ในชุดของความต้องการต่าง ๆ เป็นความต้องการที่สำคัญที่สุดในกลุ่มนั้น

คะแนนที่ผู้สมัครได้รับ

• คะแนนในช่วง 50-65% ผู้สมัครจะต้องแสดงให้เห็นว่า มีแนวทางที่มีประสิทธิผล เป็นระบบ ตรงตามคุณสมบัติอย่างน้อย บางส่วน (some) ของข้อกำหนดโดยรวม (ตัวหนา) (บวกบางส่วนของการนำไปปฏิบัติ การเรียนรู้ และบูรณาการ ในช่วง 50-65%)
• คะแนนที่ด้านบนสุดของช่วงนั้น (65%) ผู้สมัครจะต้องตอบสนอง ทุก (all) ข้อกำหนดโดยรวม (ตัวหนา) (บวกการปฏิบัติ การเรียนรู้ การบูรณาการ ที่อยู่ในช่วง 50-65%)
• การได้คะแนน 70% หรือสูงกว่า ผู้สมัครจะต้องตอบสนองความต้องการสำหรับการให้คะแนน 65% ทั้งหมด และเพิ่มการตอบสนองต่อข้อกำหนดย่อย (meet additional multiple) บวก บางส่วน (some) ของการปฏิบัติ การเรียนรู้ และการบูรณาการในช่วง 70-85%
• สรุป การตอบสนองข้อกำหนดโดยรวม และข้อกำหนดบางส่วนหรือทุกข้อกำหนดย่อย (meeting the overall and some-to-all of the multiple) อาจส่งผลให้ได้คะแนน 70-100% ขึ้นอยู่บนวุฒิภาวะของระบบต่างๆ รวมถึงขอบเขตของการใช้งาน การประเมินผลระบบ การปรับแต่ง และนวัตกรรม ของระบบเหล่านั้นทั่วทั้งองค์กร

การให้คะแนนกระบวนการและผลลัพธ์

• กระบวนการ (Process) หมายถึงแนวทางที่องค์กรใช้และปรับปรุง ที่เป็นความที่ต้องการของหัวข้อ ในหมวดที่ 1 ถึง 6 มีสี่ปัจจัยที่ใช้ในการประเมินคือ แนวทาง การปฏิบัติ การเรียนรู้ และการบูรณาการ (Approach, Deployment, Learning, and Integration - ADLI)
• ผลลัพธ์ (Results) หมายถึงผลและผลลัพธ์ที่ประสบความสำเร็จขององค์กร ที่อยู่ในความต้องการในหัวข้อ 7.1-7.5 (หมวดที่ 7) ปัจจัยที่ใช้ในการประเมินผลลัพธ์คือ ระดับ แนวโน้ม การเปรียบเทียบ และการบูรณาการ (Levels, Trends, Comparisons, and Integration - LeTCI)

แนวทาง (Approach)

• หมายถึงแนวทางที่ใช้เพื่อให้กระบวนการบรรลุตามประสงค์ ความเหมาะสมของแนวทางตามความต้องการของหัวข้อและสภาพแวดล้อมในการดำเนินงานขององค์กร ประสิทธิผลของแนวทางที่ใช้ เป็นแนวทางที่ทำซ้ำได้ และอยู่บนพื้นฐานของข้อมูลและสารสนเทศที่เชื่อถือได้

การปฏิบัติ (Deployment)

• หมายถึงขอบเขตที่แนวทางถูกนำไปใช้ ในการตอบสนองความต้องการของหัวข้อ ที่มีความเกี่ยวข้องและมีความสำคัญต่อองค์กร แนวทางที่มีการใช้อย่างต่อเนื่อง และแนวทางที่ใช้ (ดำเนินการ) โดยทุกหน่วยงานที่เหมาะสม

การเรียนรู้ (Learning)

• หมายถึงการปรับแต่งแนวทาง ผ่านวงรอบของการประเมินผลและการปรับปรุง การส่งเสริมการเปลี่ยนแปลงเพื่อพัฒนาแนวทางผ่านนวัตกรรม และการแบ่งปันของการปรับแต่งและนวัตกรรมการทำงาน กับหน่วยงานอื่น ๆ ที่เกี่ยวข้อง และกระบวนการต่าง ๆในองค์กร

เครื่องมือการปรับปรุง

• วงจรของการปรับปรุงต้องใช้ความเป็นจริง แนวทางที่เป็นระบบ เพื่อการประเมินผลและการปรับปรุง
• ตัวอย่างของแนวทางดังกล่าว รวมถึงระบบการผลิตแบบลีน (Lean Enterprise System) การใช้ Six Sigma การใช้ Plan-Do-Check-Act (PDCA) หรือ Plan-Do-Study-Act (PDSA) หรือความคิดเห็นหลังการดำเนินการ (After Action Reviews - AARs) การปรับปรุงกระบวนการโดยใช้มาตรฐานจากองค์การระหว่างประเทศ (ISO ตัวอย่างเช่น 9000 หรือ 14000) วิทยาศาสตร์การตัดสินใจ หรือเครื่องมืออื่น ๆ ในการปรับปรุง

รายงานสะท้อนกลับ

• เครื่องมือหนึ่งในการปรับปรุง อาจจะขึ้นอยู่กับการประเมินของรัฐหรือองค์กรระดับชาติ โดยใช้เกณฑ์ Baldrige ในการสร้างรายงานสะท้อนกลับ (feedback report) และมีการดำเนินการเพื่อแก้ไขโอกาสพัฒนา (opportunities for improvement) ที่ระบุไว้ในรายงาน

วงจรของการปรับปรุง เกี่ยวข้องกับขั้นตอนการทำซ้ำได้ เช่น:

• ระบุประเด็น/ปัญหา
• รวบรวมข้อมูลในการตรวจสอบหรือวิเคราะห์ลักษณะของประเด็น/ปัญหา (ซึ่งอาจรวมถึงการระบุสาเหตุที่เกิด)
• การพัฒนาการแก้ปัญหา ที่ขึ้นอยู่กับการตรวจสอบ หรือการวิเคราะห์ข้อมูลและสาเหตุ
• การทดสอบหรือการตรวจสอบทางเลือกการแก้ปัญหา
• การตัดสินใจในการดำเนินการการแก้ปัญหา (พิจารณาปัจจัยที่เกี่ยวข้องเช่น ความเป็นไปได้ ค่าใช้จ่าย ผลประโยชน์)
• ดำเนินการแก้ปัญหานั้น และ
• ตรวจสอบการดำเนินการการแก้ปัญหา เพื่อตรวจสอบผลกระทบที่มีคุณค่าเพิ่ม และถ้าเหมาะสม ให้ยึดเป็นแนวปฏิบัติ

ผลของการปรับปรุงกับผลลัพธ์

• ผลลัพธ์ขององค์กรที่ดีขึ้นในหมวดที่ 7 อาจ (might) ได้รับการพิจารณาว่า เป็นหลักฐานของวงจรการปรับปรุงที่ส่งผลต่อผลงาน
• เพื่อให้แน่ใจว่าเกี่ยวข้อง ควรจะมีการเชื่อมโยง ระหว่างวงจรตรรกะที่เฉพาะเจาะจงของตัวชี้วัดการปรับปรุงประสิทธิภาพการทำงาน และการรายงานผล
• อย่างไรก็ตาม ผลการรายงานผลในหมวดที่ 7 ไม่ได้พิสูจน์กระบวนการที่ได้รับการปรับปรุงอย่างมีนัยสำคัญ เพราะการเปลี่ยนแปลงในการปฏิบัติงานขององค์กร อาจส่งผลต่อมาในภายหลังก็ได้

มีอีก 2 ประเด็นในการพิจารณา

• ประการแรก การเทียบเคียง (benchmarking) กระบวนการทำงาน โดยใช้องค์กรที่มีประสิทธิภาพสูงสุด จากนั้นใช้หรือปรับ (adopting or adapting) กระบวนการภายในที่เป็นจริง ตามแนวทางที่เป็นระบบ เพื่อการเปลี่ยนแปลงที่มีความหมาย (learning)
• ประการที่สอง การกระทำแบบสุ่ม (random acts) ของการปรับปรุง จะไม่ถือว่าเป็นความจริงหรือเป็นระบบ (not considered fact-based or systematic) ไม่ควรได้รับการยกย่องว่าเป็นวงจรการปรับปรุง เพื่อวัตถุประสงค์ในการให้คะแนน

การบูรณาการ (Integration)

• หมายถึงขอบเขตของแนวทางที่สอดคล้อง (aligned) กับความต้องการขององค์กรที่ระบุไว้ในโครงสร้างองค์กรและหัวข้ออื่น ๆ การวัดผล สารสนเทศ และระบบการปรับปรุง ที่ข้ามกระบวนการและหน่วยงาน รวมถึงแผนงาน กระบวนการ ผลการวิเคราะห์ การเรียนรู้ และการกระทำ ที่มีความกลมกลืน (harmonized) ทั่วทุกกระบวนการและหน่วยงาน ที่สนับสนุนเป้าประสงค์หลักขององค์กร

ระดับ (Levels) และ การเปรียบเทียบ (Comparisons)

• ระดับ หมายถึงระดับปัจจุบันของผลการทำงานขององค์กร
• การเปรียบเทียบ หมายถึงการเปรียบเทียบผลงานเมื่อเทียบกับคู่แข่งหรือองค์กรที่คล้ายกัน และ/หรือการเทียบเคียง (benchmarks) หรือเป็นผู้นำในอุตสาหกรรม
• ระดับ (Le) และการเปรียบเทียบ (C) มักจะมีการใช้วิเคราะห์ร่วมกัน

แนวโน้ม (Trends)

• หมายถึงอัตราการปรับปรุงประสิทธิภาพการทำงาน หรือการพัฒนาอย่างยั่งยืนของการปฏิบัติงานที่ดี (นั่นคือความชันของข้อมูลว่าแนวโน้มเป็นเช่นไร) และความครอบคลุม (นั่นคือขอบเขตของการใช้งาน) ของผลลัพธ์การดำเนินงาน

การบูรณาการ (Integration)

• หมายถึงขอบเขตการวัดผลลัพธ์ (มักจะเป็นการแบ่งส่วนต่าง ๆ - segmentation) ของลูกค้าที่สำคัญ ผลิตภัณฑ์ ตลาด กระบวนการ และการกระทำที่ต้องการ ที่ระบุไว้ในโครงร่างองค์กรและหัวข้อของกระบวนการ

สรุป การประเมินผลลัพธ์

• ผู้ตรวจประเมิน มองหาข้อมูลการตอบด้านผลลัพธ์ดังต่อไปนี้
• ผลลัพธ์ที่มีความสำคัญ (important) ต่อองค์กร (I) ผลการทำงานที่ดีขึ้น (T) และมีผลการทำงานที่ดีหรือไม่? (Le / C)

สิ่งที่มีความสำคัญต่อการให้คะแนน

• มิติด้านการประเมินผลกระบวนการและผลลัพธ์ที่อธิบายไว้ก่อนหน้านี้ (ADLI และ LeTCI) มีความสำคัญที่จะทำให้องค์กรได้รับรายงานป้อนกลับที่มีความถูกต้อง สอดคล้องกันกับคะแนนที่ได้
• แต่การพิจารณาที่สำคัญอีกประการหนึ่งในความคิดเห็นและการให้คะแนนคือ ความสำคัญของปัจจัยทางธุรกิจที่สำคัญ (key business factors) ขององค์กร ที่มีการระบุไว้ในโครงร่างองค์กร (Organizational Profile)

การให้คะแนน

• คะแนนจะให้ที่ระดับหัวข้อ (Item) ครั้งแรกดูที่จุดแข็ง (strengths) ที่แสดงให้เห็นว่า ผู้สมัครได้ทำ ในการตอบสนองความต้องการของเกณฑ์
• ขึ้นอยู่กับจุดแข็งเหล่านั้น ตรวจสอบว่าอยู่ในช่วงการให้คะแนนใด (เช่น 50-65%) ของคำบรรยายเป็นส่วนใหญ่ (most descriptive) ที่สอดคล้องกับระดับผลสัมฤทธิ์ขององค์กร
• คำบรรยายส่วนใหญ่ในช่วงคะแนนนั้น รวมถึงการที่ยังพบว่ามีช่องว่างบางอย่าง ในหนึ่งหรือมากกว่าของปัจจัยการประเมิน ADLI (กระบวนการ) หรือปัจจัย LeTCI (ผลลัพธ์) สำหรับช่วงคะแนนที่เลือก
• หากผู้สมัครทำได้ทุกอย่าง (does everything) ในช่วงคะแนน 50-65% และไม่มีอะไรในระดับที่สูงขึ้นแล้ว คะแนนที่ควรจะเป็นด้านบนสุดของช่วง 50-65%
• หากผู้สมัครทำทุกอย่างที่จำเป็นต้องใช้ในช่วงคะแนน และมีแนวทาง การปฏิบัติ การเรียนรู้ หรือการบูรณาการใด ๆ ของช่วงระดับที่สูงขึ้นแล้ว คะแนนควรจะอยู่ในช่วงต่อไปคะแนนที่สูงขึ้น (next higher scoring band)
• การให้คะแนนที่เกิดขึ้นจริง (ซึ่งเป็นการเพิ่มขึ้นร้อยละห้า) ในช่วงที่ได้รับการคัดเลือก ต้องมีการประเมินว่า การตอบสนองอยู่ใกล้ (closer) กับระดับคะแนนถัดไปที่สูงขึ้นหรือช่วงคะแนนที่ต่ำกว่า (next higher or next lower scoring range)

โอกาสพัฒนา

• โอกาสพัฒนา (Opportunities for Improvement) เป็นสิ่งที่สะท้อนให้เห็นถึงสิ่งที่กำหนดในเกณฑ์ ที่ผู้สมัครไม่ได้ทำ
• โอกาสที่สำคัญ (key or vital few) สำหรับการพัฒนา ที่จะรายงานให้แก่ผู้สมัครในรายงานข้อเสนอแนะ รวมถึงการที่ผู้สมัครจะต้องทำ เพื่อย้ายขึ้นไปช่วงคะแนนที่สูงขึ้น (และ/หรือ ถ้าอยู่ที่ด้านล่างของช่วงคะแนนไปสู่ด้านบน ของช่วงคะแนนเดียวกัน)

คะแนนกระบวนการที่ 50%-65%

• คะแนนกระบวนการ 50-65% แสดงให้เห็นถึงแนวทางที่ตรงกับข้อกำหนดโดยรวม บางส่วนถึงทั้งหมด (some to all overall requirements) มีการนำไปใช้ของหน่วยงานที่ครอบคลุมอย่างต่อเนื่อง มีการผ่านรอบของการปรับปรุงและการเรียนรู้บางส่วน และตอบสนองความต้องการที่สำคัญ ขององค์กร
• คะแนนที่สูงขึ้น สะท้อนให้เห็นถึงความสำเร็จที่มากขึ้น แสดงให้เห็นถึงการใช้งานที่กว้างขวาง การเรียนรู้ขององค์กรอย่างมีนัยสำคัญและการเปลี่ยนแปลงที่มีความหมาย (นวัตกรรม) และการบูรณาการที่เพิ่มขึ้น

คะแนนผลลัพธ์ที่ 50-65%

• คะแนนผลลัพธ์ของ 50-65% แสดงให้เห็นถึงมีข้อบ่งชี้ชัดเจนของแนวโน้มการปรับปรุง และ/หรือระดับที่ดีของผลการทำงาน มีข้อมูลเปรียบเทียบที่เหมาะสมที่ครอบคลุมความสำคัญต่อองค์กรและภารกิจของตน (ผลลัพธ์ที่ไม่มีความหมายหรือเกี่ยวข้องกับความสำเร็จขององค์กร พันธกิจ วิสัยทัศน์วัตถุประสงค์เชิงกลยุทธ์ แผนปฏิบัติการ หรือข้อกำหนดด้านกฎระเบียบ ไม่มีผลอะไรกับคะแนน)
• คะแนนที่สูงกว่า จะได้รับตามอัตราการปรับปรุงที่ดีกว่า และ/หรือระดับความสำคัญของผลการดำเนินงาน การเปรียบเทียบที่ดีขึ้น และความครอบคลุมที่กว้างขึ้นและบูรณาการกับความต้องการทางธุรกิจ

ข้อกำหนดสามระดับ

• ข้อกำหนดเกณฑ์จะแบ่งออกเป็นสามกลุ่มหรือสามระดับ
• ข้อกำหนดพื้นฐาน (Basic) สำหรับคะแนนในช่วง 10% ถึง 45%
• ข้อกำหนดโดยรวม (Overall) สำหรับคะแนนอยู่ในช่วง 50% ถึง 65% และ
• ข้อกำหนดย่อย (Multiple) สำหรับคะแนนในช่วง 70% ถึง 100%

การให้คะแนนที่เหมาะสมที่สุด (best scoring fit)

• เนื่องจากคำถามตัวหนา หมายถึงความต้องการโดยรวมและความต้องการต่างๆ ผู้ตรวจประเมินบางคนสับสนความเป็นมาตรฐาน ที่จะนำไปใช้เพื่อที่จะได้ตัดสินใจให้อยู่ในช่วงคะแนนที่ถูกต้อง
• เพื่อการให้คะแนนที่เหมาะที่สุด เป็นสิ่งสำคัญที่จะต้องพิจารณาเกณฑ์การให้คะแนนแบบองค์รวม (holistically) เพื่อให้แนวทาง การปฏิบัติ การเรียนรู้ และการบูรณาการ (ADLI) การให้คะแนนควรพิจารณาทั้งหมดไม่เพียงแต่ใช้แนวทางมาตรฐาน (Approach standard)

สรุป การให้คะแนนอย่างคงเส้นคงวา

• เพื่อบรรลุการให้คะแนนที่สอดคล้องกันในหมู่ผู้ตรวจประเมิน หากความต้องการอยู่มากกว่าหนึ่งระดับ ตำแหน่งของความต้องการครั้งแรก เป็นตัวกำหนดระดับ (the initial placement of the requirement establishes its level) คะแนนที่ผู้สมัครได้รับ มีระดับของการตอบสนองของความต้องการตามลำดับขั้นคือ
• ข้อกำหนดย่อย = ขั้นย่อย ๆ + ขั้นโดยรวม+ ขั้นพื้นฐาน
• ข้อกำหนดโดยรวม = ขั้นโดยรวม + ขั้นพื้นฐาน
• ข้อกำหนดพื้นฐาน = ขั้นพื้นฐาน

***********************************************