ถึงเวลาเปลี่ยนวิธีประเมินผลการวิจัย
อ. หมอปรีดา มาลาสิทธิ์ กรุณาส่งบทความเกี่ยวกับเรื่อง DORA (San Francisco Declaration on Research Assessment https://sfdora.org/read/ ) มาให้ ประกาศนี้ออกมาตั้งแต่วันที่ ๑๖ ธันวาคม ๒๕๕๕ คือกว่า ๕ ปีมาแล้ว เสนอให้แหล่งทุนวิจัย สถาบันวิชาการ และหน่วยงานอื่นๆ เปลี่ยนวิธีประเมินผลงานวิจัยจากวิธีที่ใช้ในปัจจุบัน คือดูจากการตีพิมพ์ในวารสารที่มี Impact Factor สูง
คำประกาศบอกว่า ผลลัพธ์ (output) จากงานวิจัย มีหลากหลายด้าน เช่น (๑) ผลงานตีพิมพ์ ประกาศความรู้ใหม่ (๒) ข้อมูล (๓) reagent (๔) สินทรัพย์ทางปัญญา และ (๕) นักวิจัยใหม่ที่ได้รับการฝึกมาอย่างดี
แต่เวลานี้เรามักเน้นประเมินโดยใช้ Journal Impact Factor (JIF) เพียงอย่างเดียวในการประเมินผลงานวิจัยของบุคคล ละของสถาบัน ทำให้เป็นการประเมินที่ไม่แม่นตรงตามเป้าหมายที่แท้จริงในการลงทุนวิจัย
อ่านสาระทั้งหมดในคำประกาศนี้แล้ว เห็นได้ชัดเจนว่า เวลานี้โลกหลงอยู่ในวิธีการประเมินผลการวิจัยที่ผิด สร้างวัฒนธรรมวิจัยที่ผิดพลาด ไม่ทำให้การวิจัยก่อผลดีต่อสังคมได้มากเท่าที่ควร
ที่จริงระบบวิจัยที่เทิดทูน JIF เพิ่งเกิดมาประมาณ ๒๐ ปีเท่านั้น และดูจาก reference ของคำประกาศแล้ว มีผู้เห็นจุดอ่อนของมันมาตั้งแต่ต้น แต่ความง่าย และการโปรโมทโดยฝ่ายที่ได้รับผลประโยชน์ทำให้มันเข้าครองระบบประเมินผลการวิจัย ประเทศที่ตามเขาง่าย อย่างประเทศไทย ก็ตกหลุมนี้เข้าอย่างแรง ถึงคราวที่จะต้องถอนตัว หันมาใช้วิธีการที่ซับซ้อน และก่อผลดีต่อการพัฒนาระบบวิจัย และต่อการส่งเสริมให้เกิดนักวิจัยที่มีความสามารถแท้จริง ไม่ใช่แค่เพียงมี JIF
ข้อเสนอแนะในคำประกาศ DORA นี้ มีทั้งข้อเสนอแนะทั่วไป ข้อเสนอแนะต่อหน่วยงานให้ทุนวิจัย ต่อสถาบันวิจัย ต่อสำนักพิมพ์ ต่อหน่วยงานที่จัดทำและเผยแพร่สถิติ (metrics) และ ต่อนักวิจัย
วิธีประเมินผลลัพธ์และผลกระทบจากงานวิจัยที่นิยมใช้กันอยู่ในปัจจุบัน ถูกทำให้บิดเบี้ยวไปจากเป้าหมายหลักของงานวิจัย ทำให้โลกได้รับผลดีจากการลงทุนวิจัย และจากชุมชนนักวิจัย น้อยกว่าที่ควรจะเป็น
เนื่องจากคำประกาศ DORA นี้ ประกาศในบริบทของสหรัฐอเมริกา ที่กิจการวิจัยและการให้คุณให้โทษแก่นักวิชาการ/นักวิจัย ไม่รวมศูนย์ อย่างในประเทศไทย การประยุต์ใช้ DORA ในบริบทไทยจึงควรเพิ่มข้อเรียกร้องต่อ สกอ. /กกอ. เข้าไปด้วย ในฐานะหน่วยงานออกกฏกติกาในการกำหนดวิธีวัดคุณค่าของผลงานวิจัย
หัวใจสำคัญคือ เสนอให้เลิกใช้ JIF เพียงอย่างเดียวโดดๆ ให้หันมาใช้การพิจารณาคุณค่าหลากหลายด้านของผลงานวิจัย ที่ผมติดใจมากคือ ข้อเสนอแนะต่อหน่วยงานให้ทุนวิจัย ให้พิจารณา research output ในด้าน “… consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice.” คือให้พิจารณา impact หลายด้าน โดยเฉพาะอย่างยิ่งการนำไปใช้กำนดนโยบาย และนำไปประยุกต์ในทางปฏิบัติ โดยต้องไม่ลืมย้ำว่า การตีพิมพ์ยังคงมีความสำคัญ แต่ต้องระวังการสร้างหลักฐานลวง (manipulation) สารพัดแบบ เพื่อผลประโยชน์ของผู้ลวง ข้อเสนอแนะข้อนี้ ในความเห็นของผม น่าจะเป็นข้อเสนอแนะในภาพรวม ด้วย โดยเฉพาะอย่างยิ่ง ต่อการพิจารณาผลงานของนักวิจัย
ผมเพิ่งไปรับรู้เมื่อต้นเดือนธันวาคม ๒๕๖๐ ว่าในสหราชอาณาจักร เข้าพิจารณาผลงานอาจารย์เพื่อเลื่อนตำแหน่งจากผลงาน ๔ ด้าน คือ (๑) ผลงานวิจัย (๒) ผลงานด้านการสอน (๓) ผลงานด้านการรับใช้ภายในสถาบันในกิจการด้านต่างๆ และ (๔) ผลงานด้านการรับใช้สังคมภายนอกสถาบัน เช่นบทบาทในวงการวิชาชีพ บทบาทด้าน Public engagement
เอกสารที่ตีพิมพ์ในวารสาร Nature วันที่ ๘ กุมภาพันธ์ ๒๕๖๑ ที่ อ. หมอปรีดาส่งมาให้ผมชื่อ Let’s move beyond the rhetoric : it’s time to change how we judge research (๒)
วิจารณ์ พานิช
๑๐ ก.พ. ๒๕๖๑
ความเห็น (1)
Are we talking 'ONET' (or 'PNET') for lecturers/researchers/managers/...?
What are metrics and weights to use - to rank and select?
Are we talking 'ONET' (or 'PNET') for lecturers/researchers/managers/...?
What are metrics and weights to use - to rank and select?