ได้จากการ..."ฟัง"

ฟังไปเรื่อยๆ สงสัยก็เก็บคำหลักไปค้นคว้าเพิ่มเติม

เมื่อวันพฤหัสที่ 13 ก.ย. ที่ผ่านมา เวลาเที่ยงๆมีกิจกรรมดีๆของชาวพยาธิฯกันค่ะ คือการนำเสนอร่างโครงการ Patho-OTOP3 ดังที่ท่านเอื้อได้เล่าไว้ใน บันทึกนี้ แล้ว

เข้าไปนั่งๆฟังไป ก็สะดุดกับเรื่องที่น้องกานต์ (พจนีย์) พูดถึงเรื่องการวัดความสอดคล้อง (agreement) ของการอ่านผลปฏิกิริยาด้วยผู้อ่านสองคน  โดยใช้สถิติตัวหนึ่ง คือ Kappa statistic

เอ๊ะ! อะไรหว่า? น่าสนใจเนาะ  ทำให้นึกไปถึงอีกโครงการหนึ่งของน้องเกษกับเจ้ากระปุก ที่ต้องวัดความสอดคล้องของการอ่านผลโดยคนสองคนในทำนองเดียวกันนี้  พี่เม่ยรีบจดจำคีย์เวิร์ดไว้สองคำคือ Kappa กับ ความสอดคล้อง

แล้วกระซิบบอกให้น้องเกษไปถามรายละเอียดเกี่ยวกับสถิติตัวนี้กับผู้นำเสนอก่อนซิ เผื่อจะได้รายละเอียด  น้องเกษหายไปสักครู่แล้วกลับมาบอกว่าได้คำตอบจากน้องเขาว่า "ยังไม่ค่อยทราบเหมือนกัน พี่กานต์ (คนอาไร้! ไปใช้ชื่อซ้ำกับน้องๆเค้าอยู่ได้...) เป็นคนบอกว่าให้ใช้ตัวนี้  เสียดายที่พี่กานต์ไปญี่ปุ่นซะแล้ว คำถามนี้จึงต้องเป็นคำถามต่อไป...

จนเย็นวันเดียวกันพี่เม่ยได้รับบทความส่งตีพิมพ์ส่งคืนกลับมาให้แก้ไข...เรื่องที่ reviewer แนะนำมาก็คือ ควรใช้สถิติ Kappa เป็นตัววัดความสอดคล้องของการอ่านผลจากการทดสอบทั้งสองวิธี

นิ่งเฉยไม่ได้เสียแล้ว  ต้องพึ่งพาอาศัยพี่กูเกิ้ล โดยใช้คีย์เวิร์ดที่จดจำไว้ก่อน  อ๋อ!..เป็นสถิติแบบนอนพาราเมตริก ที่ใช้ทดสอบความสอดคล้องของข้อมูลสองชุด  ใช้กับข้อมูลเชิงคุณภาพ (nominal scale) เช่นสีผิว เชื้อชาติ....พี่กูเกิ้ลใจดี ให้ดาวน์โหลดโปรแกรมคำนวนสถิติฟรีๆ มาใช้งานได้ด้วย

ตอนนี้ก็เลยรู้จัก Kappa เป็นอย่างดีในชั่วเวลาข้ามคืน นอกจากได้ประโยชน์กับทีมของน้องเกษกับเจ้ากระปุกแล้ว  แถมได้ประโยชน์กับตัวเองอีกด้วย

อย่างนี้ต้องบอกว่า ประโยชน์ที่ได้มาในครั้งนี้....

ได้จากการเข้าฟังการนำเสนอโครงการ "Patho-OTOP3" โดยแท้ค่ะ...

[Mitochondria]

• kappa value เป็นสถิติที่ใช้ในการวัดความสอดคล้องของข้อมูลครับ (statistic value for agreement) ในห้องแล็บเรามักจะใช้ในการวัดการอ่านผล จาก independent observer   2 คนครับ ที่ไม่ทราบผลซึ่งกันและกันนะครับ จะได้ป้องกันการเกิดอคติ (bias)
• ลักษณะข้อมูลที่ใช้ จะเป็นแบบตัวอักษรครับ อย่างเช่น ค่าบวก ค่าลบ หรือจะใส่เข้าไปเป็นตัวเลขก็ตาม เช่นค่า ไตเตอร์ จะใส่แบบไหนก็ตามเวลาเครื่องคำนวนให้ มันจะคำนวณแบบที่เป็นตัวอักษรครับ คือมันไม่สนใจว่าค่าไหนจะมากหรือน้อยกว่ากัน เครื่องสนใจเพียงแค่ว่าใช้อักษรเหมือนกันหรือไม่ ถ้าเหมือนกันก็ถือว่าอ่านได้เท่ากันหรือสอดคล้องกัน ถ้าต่างกันก็ถือว่าอ่านผลได้ไม่เท่ากัน
• ค่าที่ได้จะออกมาเป็นตัวเลขระหว่าง 0-1 ครับ
• ในทางปฏิบัติ ถ้าได้ 0.8 -1 ถือว่า perfect agreement
• ถ้าได้ 0.6-0.8 ถือว่า good agreement
• ถ้าต่ำกว่านี้ ถือว่าไม่สอดคล้องกันแล้วล่ะครับ
• การอ่านผล แนะนำว่าให้อ่านผลเพียงแค่ 2 คน โดยไม่ทราบผลซึ่งกันและกัน  เวลาวิเคราะห์ก็ใช้โปรแกรม SPSS วิเคราะห์ได้เลยครับ โดยใช้คำสั่ง analyse>descriptive statistics>crosstabs

• แล้วคลิ๊กเลือกตัวแปรเข้าไปใส่ในช่อง row หรือ column อย่างเช่น เลือกผุ้อ่านผลคนที่ 1 ไปใส่ใน row แล้วเลือกผู้อ่านผลคนที่ 2 ไปใส่ใน column  ซึ่งเราสามารถสลับกันได้ระหว่าง row กับ colume โดยที่ค่า kappa ไม่เปลี่ยนแปลงครับ

จากนั้นกดปุ่ม statistics จะได้หน้าต่างใหม่ครับ ให้เลือกติ๊กค่า kappa value

โดยทั่วไปผมนิยมที่จะเลือก chi square ด้วย เพื่อให้เครื่องวิเคราะห์ว่า ผลการอ่านจาก 2 คนนั้นมีความแตกต่างอย่างมีนัยสำคัญหรือไม่ด้วย แล้วกดปุ่ม continueครับ เครื่องจะปิดหน้าต่างนี้ จากนั้นกดปุ่ม OK เป็นอันเรียบร้อยครับ เห็นไหมว่าใช้ไม่ยากเลยครับ

• ผมเคยคิดว่า การอ่านผล 3 คน จะให้ค่าที่น่าเชื่อถือมากกว่าการอ่านผล 2 คน แต่การอ่านผล 3 คน วิเคราะห์ด้วย SPSS ไม่ได้ครับ ต้องใช้โปรแกรม stratra โดยเลือกคำสั่ง kappa value โดยใช้ 3 reader ในรายละเอียดต้องปรึกษาหน่วยระบาดครับ เพราะโปรแกรม Stratra ต้องจำคำสั่งทั้งหมด เหมือนเราใช้ DOS (ผมใช้ไม่เป็นหรอกครับ)
• ในอดีต ผมเคยวิเคราะห์ ค่า kappa value between 3 observers โดยเปรียบเทียบ Kappa value ด้วยการจับค่าทีละคู่ แล้วรายงานผลว่าค่า kappa value อยู่ระหว่าง .....ถึง...... ซึ่งถูกตีกลับมาครับ ให้คำนวณใหม่ โดยค่า Kappa value ของ 3 observers ก็จะได้เพียงแค่ตัวเลขตัวเดียวครับ
• ในทางปฏิบัติเราสามารถใช้ค่า kappa value ในการอธิบายว่า การทดสอบของเรานั้น มีความจำเป็นต้องฝึกอบรมก่อนทำงานจริง(training need)มีความจำเป็นหรือไม่  โดยถ้าสองคนอ่านผลสอดคล้องกันดี แสดงว่า การฝึกอบรมก่อนนำการทำสอบนี้ไปใช้ อาจไม่จำเป็น หากได้ผลไม่สอดคล้องกัน แสดงว่า การนำการทดสอบไปใช้จำเป็นต้องมีการฝึกอบรมให้กับผู้ใช้ก่อนเพื่อป้องกันการอ่านผลไม่สอดคล้องกัน (มีการ standardize ด้านการอ่านผลการทดสอบก่อนใช้งานจริง)
• หากสงสัยเรื่องค่า kappa value มากกว่านี้ อาจขอคำแนะนำได้จากอาจารย์ปารมี หรืออาจารย์สมรมาศ หรือจากคนที่เรียนด้านระบาดวิทยามาครับ ส่วนคนที่เป็นเซียนในเรื่องค่า kappa value โดยตรงเลย คืออาจารย์ทิพย์วรรณ ภาควิชาสูติครับ