Measurement error : WCV,ICC,Bland-Altman plot

เราคุยกันมาครั้งก่อนแล้วว่าการประเมิน Measurement error หรือ Reliability/Reproducibility:
กรณีค่าที่เราวัดเป็น continuous จะประเมินออกมาเป็น Within-subject coefficient of variation, Intraclass corelation coefficient หรือ Bland-Altman plot

กรณีตัวอย่าง : หมอ ก. เกิดสงสัยขึ้นมาว่า ความดันโลหิตผู้ป่วย ด้วยเครื่องวัดสองชนิดจะต่างกันหรือไม่  แล้วจะแยกได้อย่างไรว่าความดันที่เปลี่ยนไปเกิดจากความแปรปรวนในการวัด หรือเกิดจากตัวยากันแน่

ว่าแล้ว หมอ ก. จึงลองเก็บข้อมูล ความดัน systolic ผู้ป่วย 30 คน วัดครั้งแรกด้วยเครื่องวัดปรอท ครั้งที่สองวัดเครื่องดิจิตอล โดยไม่ได้ปรับเปลี่ยนการรักษาใดๆ ได้ผลดังนี้

subject	SBP1	SBP2
1	96.0	94.00
2	139.0	142.00
3	168.0	168.67
4	126.0	124.00
5	112.0	110.00
6	116.0	114.67
7	121.0	121.67
8	149.0	147.67
9	106.0	105.00
10	157.0	156.00
11	166.0	166.67
12	188.0	187.67
13	117.0	118.33
14	116.0	115.00
15	134.0	133.67
16	140.0	139.67
17	149.0	148.67
18	129.0	129.33
19	128.0	127.33
20	124.0	124.33
21	133.0	130.33
22	139.0	139.00
23	142.0	142.33
24	137.0	137.67
25	143.0	142.00
26	104.0	105.33
27	181.0	180.67
28	180.0	179.00
29	108.0	107.67
30	110.0	110.00

เนื่องจาก Reliability ขึ้นกับความผันผวนปรวนแปรจากการวัดซ้ำ การประเมินจึงข้องเกี่ยวกับ Varience (square of standard deviation)

 

1. Within-subject coefficient of variation (WCV):
    โดยทั่วไป coefficient of variation คือ  within-subject SD (Sw) ที่หารด้วย subject mean  (x)..เหตุผลที่เอา mean มาเป็นตัวหาร ก็เพื่อจะเปรียบเทียบกันได้ เพราะตัดเรื่องหน่วยไป ( เช่น กิโลเมตร, เมตร)
WCV  = Sw / x

2. Intraclass corelation (ICC)
ICC เป็นการประเมินสัดส่วน Source ของ Varience ( ใช้สัญลักษณ์  MS: Mean squared deviation)  กล่าวคือ
ICC  =  between subject MS  /  (between subject MS  + Within subject MS)

ยิ่ง ICC ใกล้เคียง 100%  เท่าไหร่  แสดงว่ามีสัดส่วน varience ที่เกิดจาก meassurement error น้อย ดังด้านบน ICC = 99.8% แสดงว่า varience เกิดจาก within subject measurement ในสัดส่วนเพียง 0.2% เท่านั้น --น่าจะแปลว่า ตัวผู้ป่วยค่อนข้างคงเส้นคงวา ในการมา F/U สองครั้ง

ICC จะมีความหมายยิ่งขึ้น หากใช้ในกรณีเปรียบเทียบเครื่องมือวัดสองชนิด เช่น ครั้งแรกวัดด้วยเครื่องวัดปรอทเจ้าคุณปู่  ครั้งที่สองวัดด้วยเครื่องดิจิตอล ทำในคนไข้ 30 คน หากได้ ICC ออกมา 99% ก็แปลว่า เครื่องวัดทั้งสองแบบมีความใกล้เคียงกัน

ทั้งสองวิธีนี้ต่างต้องการค่า "Within subject" varience ซึ่งสามารถหาได้จากสถิติ Analysis of varience (ANOVA) ดังนี้ โดยก่อนอื่นต้องปรับข้อมูลให้ SBP1 กับ SBP2 อยู่ในคอร์ลัมน์เดียวกันแบบนี้

subject    SBP
1            96
1            94
2           139
2           142
3           168
3           168.67
4           126
4           124

แล้ววิเคราะห์ด้วย oneway ANOVA ( oneway คือ เปรียบเทียบลักษณะเดียว ในที่นี้คือวิธีการวัดแบบที่หนึ่ง และวิธีการวัดแบบที่สอง,  Analysis of varience ชื่อก็บอกว่าเป็นการวิเคราะห์ความแปรปรวนล้วนๆ )

. loneway  SBP  subject
 One-way Analysis of Variance for SBP: SBP1

                                              Number of obs =        60
                                                  R-squared =    0.9994

    Source                SS                 df      MS            F           Prob > F
-------------------------------------------------------------------------
Between subject        33761.742     29     1164.198   1608.41     0.0000
Within subject           21.714554     30    .72381847
-------------------------------------------------------------------------
Total                        33783.456     59    572.60095

         Intraclass       Asy.        
         correlation      S.E.       [95% Conf. Interval]
         ------------------------------------------------
            0.99876     0.00046       0.99786     0.99965

         Estimated SD of subject effect          24.11923
         Estimated SD within subject             .8507752
         Est. reliability of a subject mean       0.99938
              (evaluated at n=2.00)

SS  = sum square of SD  พูดง่ายๆ คือผลรวมของ varience นั่นเอง
MS = mean square of SD เป็นค่าตัวแทนของ varience 
         เมื่อนำค่า MS within subject = 0.723 มาถอดรูทออก ก็จะได้ Sw = 0.851
 สังเกตได้ว่า เราได้ค่า ICC มาเช่นกัน

3. Bland-Altman plot 

ซึ่งทำด้วย STATA ด้วยคำสั่ง baplot  (ไม่ได้เป็นคำสั่งที่ติดมากับโปรแกรม STATA แต่เป็นคำสั่งที่ผู้ใช้เขียนขึ้นมา จึงต้อง install เพิ่มด้วยการใช้คำสั่ง .findit baplot )

 

. baplot  sbp1  sbp2

Bland-Altman comparison of sbp1 and sbp2

Limits of agreement (Reference Range for difference): -2.037 to  2.680

Mean difference:  0.322 (CI -0.119 to  0.762)

Range : 95.000 to 187.835

Pitman's Test of difference in variance: r = -0.125, n = 30, p = 0.517

จากกราฟ
แกน Y เป็นค่า"ความต่าง"ระหว่างการวัด BP ครั้งที่ 1 และ BP ครั้งที่ 2 * 
แกน X เป็นค่าเฉลี่ย ของ BP ครั้งที่ 1 กับครั้งที่ 2
แต่ละจุดในกราฟ แสดง subject แต่ละคน

หมายความว่าอย่างไร
Limit of agreement หรือ 95% CI ของ within subject difference ที่ได้ อาจแปลได้ "ผลต่าง" ของการวัดด้วยเครื่องมือสองชนิดนี้ จะอยู่ในช่วง-2 ถึง +2.6  ( mean of difference +/- 2Sw )

จากภาพ ค่าความต่าง ที่เห็นเป็นจุดๆ ในกราฟกระจายในลักษณะมีเส้นแบ่งครึ่งได้ เส้นที่แบ่งครึ่งนั้นคือ Mean of difference ที่มาค่าคงที่ ไม่เปลี่ยนแปลงไปตาม magnitude ของค่าที่วัดได้  จึงเรียกอีกอย่างว่า Measurement "bias" กล่าวคือ ถ้าเรารู้ว่าเครื่องวัดดิจิตอล จะมีค่าต่างจากเครื่องวัดปรอท  0.32 เวลาใช้เครื่องดิจิตอลเราก็สามารถ Calibrate ได้