Journal Impact Factors ไม่เหมาะสำหรับประเมินคุณภาพงานวิจัย
ประมาณปีกว่าๆ ที่ผ่านมา ดิฉันเริ่มให้ความสนใจเกี่ยวกับ Journal impact factors ตั้งแต่ที่ดิฉันมีความจำเป็นต้องเลือก International Journal เพื่อตีพิมพ์ผลงานวิจัยและเพื่อขอทุนวิจัย
ดิฉันเริ่มดูค่า Impact factor ของแต่ละ journal เห็นแล้วก็ประหลาดใจแบบคิ้วขมวดยุ่งเหยิงว่า "เอ! ทำไม Journal ที่เราตีพิมพ์งานวิจัย ซึ่งอาจารย์เราบอกว่าเจ๋งนักเจ๋งหนา ทำไมได้ Impact factor นิดนึง"
ดูไปดูมา ก็พบวา Journal ที่มีชื่อเสียงที่วงการวิจัยทางที่ดิฉันศึกษาอยู่รู้จักกันดี อีกหลาย ๆ Journal ก็มี Impact factor ต่ำ แต่บางอันก็กลับสูง ชักสงสัยแล้วซิคะว่า เขาคำนวณกันอย่างไร
พูดง่ายๆ ก็คือ Impact factor คือ ค่าเฉลี่ยของการถูกอ้างอิงของบทความหนึ่งๆ หลังจากได้ถูกตีพิมพ์ออกมาแล้ว 2 ปี เขาใช้กันเพื่อจัดอันดับ Journal คะ (ดูสูตรได้ที่นี่ และ download ไฟล์ที่นี่)
ดิฉันไม่ทราบว่า Impact factor ถูกใช้มากน้อยแค่ไหนในวงการวิจัยระดับโลก แต่ถึงจะถูกใช้มาก ดิฉันก็คิดเห็นว่า ดิฉันก็มีสิทธิ์ที่จะสามารถ critique ผลประโยชน์ของมันได้ เพื่อวัตถุประสงค์ในการพัฒนามาตรฐานการประเมินผลงานวิจัยที่ดียิ่งๆ ขึ้น
ทุกอย่างในโลกไม่มีอะไร perfect อยู่แล้วคะ Impact factor ก็มีข้อเสียเช่นกัน แต่ถ้าฝรั่งบางเจ้า เค้าบอกว่าดี เราก็ใช้กันตามไปโดยไม่คิดให้ถ้วนถี่ เราก็จะตกที่นั่งลำบากได้นะคะ
โดยส่วนตัวแล้ว ดิฉันเห็นว่า Impact factor ไม่เหมาะสำหรับการประเมินคุณภาพงานวิจัยและประเมินคุณภาพ Journal คะ
ดิฉันขอพูดถึงเหตุผลที่สำคัญเพียง 2 ข้อแล้วกันนะคะ
ประการแรก นักวิจัยเลือกตีพิมพ์ลง International Journal หนึ่งๆ ด้วยหลากหลายสาเหตุคะ ไม่ใช่เพราะดูเพียงแค่ค่า Impact factor อย่างเดียว ประสบการณ์ล่าสุดของดิฉันคือ ดิฉันเลือกลงตีพิมพ์ลง Journal นั้นๆ เพราะความมีชื่อเสียงของ Journal ที่คนในแวดวงเดียวกันรับรู้กันอยู่ ดิฉันมองเรื่องความรวดเร็วในการ review และการ publish ด้วยคะ ส่วน journal ที่มีการคิดค่าตีพิมพ์ลง ดิฉันจะเมินทันทีคะ
Impact factor พยายามสร้างมาตรฐานที่เป็น objective เป็น quantitative แล้วเพิกเฉยค่าทาง qualitative หรือ subjective แต่ดิฉันมองว่าปัจจัยด้าน qualitative ที่ดิฉันได้บอกไป มันบ่งบอกมาตรฐานได้ดีทีเดียว และมันเป็นความจริงจากตัวผู้ใช้
Impact factor ปัจจุบันมีถึงปี 2003 สูตรที่ใช้ก็อย่างที่ท่านเห็นๆ กัน ทำไมมาเทียบเอาแค่ 2 ปีย้อนหลัง มันจะเพียงพอได้อย่างไร แล้วบาง Journal ที่นานๆ ถึงจะตีพิมพ์มาหนึ่งฉบับ แต่ละฉบับก็มีบทความไม่มากนัก จะเทียบค่า impact factor กับ Journal ที่ตีพิมพ์ออกกันมาบ่อย ๆ ได้อย่างไรคะ
ประการที่สอง การคิดค่า Impact factor ไม่สามารถวัดคุณภาพงานวิจัยได้เลยคะ การจะบอกว่างานวิจัยจะดีหรือไม่ดีนั้น มันอยู่ที่กระบวนการทำวิจัย การใช้ค่าสถิติอย่างถูกต้อง กลุ่มตัวอย่างที่เลือกสรรมาอย่างระมัดระวัง กลุ่มตัวอย่างที่เพียงพอ เครื่องมือวิจัยที่พัฒนามาอย่างถูกหลักการและเชื่อถือได้ เป็นต้น ไม่ใช่วัดกันที่อันดับของ Journal ที่เลือกลงตีพิมพ์
ถ้าอย่างนั้น เวลาดิฉันเขียนงานวิจัย ดิฉันจะเลือกไว้ก่อนว่าจะตีพิมพ์ลงที่ไหน แล้วก็จะเลือกอ้างอิงบทความของ journal นั้นๆ ภายในสองปีย้อนหลัง ให้มากเข้าไว้ เพียงเท่านี้ดิฉันก็จะมีส่วนสร้างอันดับของ journal ที่ดิฉันอยากตีพิมพ์ลงได้
ถามว่า Bias หรือไม่คะ ตอบได้ไม่ยากเลย Bias ชัดๆ คะ คุณภาพงานวิจัยไม่ได้ขึ้นกับการเลือกเอาบทความอ้างอิงของ journal ที่จะตีพิมพ์มาลงนะคะ และที่สำคัญ มันเป็นการเปิดโอกาสให้นักวิจัยเกิดการ Bias ไปยัง journal หนึ่งๆ อย่างเห็นได้ชัดคะ
ไม่ใช่ดิฉันคนเดียวคะที่คิดเห็นแบบนี้ เมื่อวานนี้ ดิฉันลองค้นหาเรื่อง impact factor บน Google ดู แล้วเจอบทความที่ชื่อว่า "Why the impact factor of journals should not be used for evaluating research" เขียนโดย Prof. Per O Seglen ลงใน BMJ.com คะ
ท่านลองอ่านกันดูเองแล้วกัน แล้วท่านจะพบความจริงที่เห็นได้ไม่ยากนักคะ ...
ความเห็น (9)
พี่หมอ MBA
ผมเองเป็นคนนึงที่เห็นด้วยกับท่านอาจารย์เป็นอย่างยิ่ง โดยเฉพาะ Medical Journal ของเรานั้นถูกมองในด้านนี้มากเกินไปจนกลายเป็นวัฒนธรรมองค์กรที่น่าคบคิดทีเดียว
การสร้างองค์ความรู้คงมีแง่คิดและน่าสนใจมากกว่าการแค่ได้ชื่อว่ามีคนนำไปอ้างอิงก้เป็นได้ ลองไปดูให้ลืกๆซิมี Strategy ในการสร้าง impact factor เป็นกระบวนการเลยนะ บางสถาบันผลัดกันอ้างอิงกันไป อ้างอิงกันมา วนอยู่แค่นั้นแหละยิ่งเวลาทำ multicenter trial จะเห็นชัดมาก
จริงๆน่าจะหาวิธีที่เป้นรูปธรรมและชัดเจนกว่านี้
ลองเปรียบเทียบกับ Balance scorecard ซิซึ่งก็เปลี่ยนแปลงจากการประเมินที่ผิดพลาดในอดีตโดยมองแค่ด้านเดียวที่ส่งผลกระทบอันมหาศาลต่อองค์กรตามมา สุดท้ายคนใน Harvard เองก็ต้องยอมรับและเปลี่ยนแปลงมัน.....ผมคิดว่าเราอย่ารอให้ถึงวันนั้นเลยนะ.
ดิฉันขอเพิ่มเติมให้อีกนิดว่า Journal ที่ลงบทความแบบ Literature review มักจะถูกอ้างอิงบ่อยกว่า Journal ที่ตีพิมพ์งานวิจัยคะ
ขอพูดถึงเรื่องที่บางฉบับคิดค่าลงตีพิมพ์นะครับ
อันนี้คงแล้วแต่โมเดลของแต่ละเจ้าครับ เพราะตอนนี้เองก็มีกระแสเรื่อง การเข้าถึงบทความวิจัยอย่างเสรี พูดง่าย ๆ ก็คือว่า มีคนกลุ่มนึงเห็นว่า ปัจจุบันนี้ ค่าใช้จ่ายในการเข้าถึงวารสารการวิจัยนั้น สูงเกินกว่าที่สถาบันการศึกษาทั่ว ๆ ไป โดยเฉพาะในประเทศกำลังพัฒนา จะเข้าถึงได้
ในวงการคอมพิวเตอร์นั้น ผู้จุดประเด็นเรื่องนี้ก็คือ Prof. Donald Knuth (จดหมายถึงคณะบรรณาธิการ Journal of Algorithms) ซึ่งก็มีการตอบรับอย่างมาก, อ่านสรุปย่อ ๆ ที่ Crisis of the cost of journals
โมเดลนึงที่มีการเสนอก็คือ แทนที่จะให้คนอ่านจ่าย ก็ให้คนเขียนเป็นคนจ่ายซะ (ถ้ามีผู้ให้ทุนวิจัย อันนี้คงไม่เป็นปัญหานัก) นอกจากนี้ก็ยังมีโมเดลอื่น ๆ แต่สุดท้ายก็คือ ทำยังไงก็ได้ ให้คนอ่านไม่ต้องจ่าย (From the BOAI definition [1] of "open access" we take the right of "users to read, download, copy, distribute, print, search, or link to the full texts of these articles" as mandatory for a journal to be included in the directory.)
BOAI: Budapest Open Access Initiative
BOAI: Frequently Asked Questions
DOAJ: Directory of Open Access Journals
เห็นด้วยว่าไม่มีอะไรสมบูรณ์แบบ แต่ข้อดีของ impact factor ก็มีมากเช่นกัน
เห็นด้วยครับ
Jornal ที่ดังๆ และลงยากมาก แต่มี Impact Factor น้อยก็มีเยาะไป โดยเฉพาะทางด้าน Mathematics
ดังนั้นในส่วนตัวผมดูที่ Citation มากกว่าครับ
ผมจะดูในเรื่องmethodology และ bias เป็นหลักครับ
แต่มันคงต้องอาศันการอ่านเยอะๆ
และเป็นคนช่างจับผิดและคิดว่า
การทดลองยังขาดอะไรที่จะส่งผลถึงoutcome
ศจี สัตยุตม์
อาจารย์เปิดประเด็นที่ดีมากสำหรับทั้งนักวิชาการ นักวิจัย และผู้บริหารมหาวิทยาลัย เรื่องของ impact factor เริ่มเข้ามารู้จักในประเทศไทยประมาณ 2543 ความหมายเชิงปริมาณก็เป็นไปตามสูตรนั่นแหละคะ แต่ความหมายเชิงคุณภาพสู่การนำไปใช้อย่างกว้างขวางในสังคม ที่ไม่ใช่เฉพาะใครเอาไปเขียนอ้างอิงต่อในบทความที่ได้รับการตีพิมพ์อีก ซึ่งนี่คือ impact ตัวจริง ไม่ถูกนำมาคิดว่า เพราะอาจเป็นอะไรที่วัดยากคิดยาก หาตัวเลขยาก ที่นี่มาดูว่าประโยชน์โดยตรงตกแก่ผู้ใด ในกรณีของการมองแต่ impact factor ที่ประกาศโดยสถาบันอะไรสักอย่างที่จริงๆแล้ว มีเฉพาะความรู้ทาง database และขยันรวมข้อมูลก็พอ พัฒนาการจึงทำให้วารสารทั้งหลายที่ส่วนใหญ่เกิดมาจากการร่วมตัวทางชมรมสมาคมทางวิชาการด้วยสุจริตใจที่จะเผยแพร่ความรู้ ต้องพยายามหาที่เผยแพร่ทาง database และหาทางทำให้ impact factor ขึ้น แต่ทุกอย่างไม่ฟรีอีกต่อไปแล้ว ฉะนั้นในทึ่สุดภาระจึงตกแต่นักวิจัยและนักวิชาการที่กลายเป็นต้องเสียเงินถึงจะได้ตีพิมพ์ อะไรทำนองนี้ และตอนนี้กำลังลามไปถึงเรื่องบริหารการงานวิจัยที่ผู้บริหารกำลังใช้ตัวเลขง่ายๆสำเร็จรูปนี้ตัดสินใจคุณภาพของนักวิชาการและนักวิจัยในสถาบันของตน
น่าเสียดายที่เราคิดและเชื่อว่า นักวิจัยและนักวิชาการ คือ ผู้คิดค้น และนำเสนอองค์ความรู้เพี่อประโยชน์ต่อสังคม แต่เรายังยอมให้มิติใดมิติ มาครอบงำได้อีกหรือ ถ้าไม่คุยกันอย่างสร้างสรรค์เพื่อหาและประกาศมาตรฐานเกี่ยวกับการตีพิมพ์บทความวิชาการและวิจัยให้สังคมได้รับรู้อย่างมั่นใจ ซึ่งแน่นอนไม่ใช่ การคิดตัวเลขของการนับจำนวนเรื่องและการถูกอ้างถึง (เท่าที่ค้นได้ หรือ จ่ายเงินแล้วทำให้ค้นเจอ) ที่ให้ชื่อจนเกินความจริงว่า impact factor
อย่ารอจนถึงวันที่เราถูกกำหนดว่า ต้องลงวารสารเล่มไหนบ้าง หรือ การหาบทความมาอ่านหรืออ้างอิงต้องดูก่อนสิว่า impact factor เท่าไร ไม่เช่นนั้นไม่อ่านหรืออ้างอิงไม่ได้ อย่าให้ อิสระและความงอกงามของวิชาการ ต้องสูญเสียไป จากวิธีการทางการตลาดที่ใช้อันดับและการแข่งขันเป็นเครื่องล่อใจ มิเช่นนั้น สังคมจะพึ่งนักวิชาการไม่ได้ (อีกเช่นเคย)