จากคำบอกเล่าของผู้เฒ่า ผู้แก่ ว่าในสมัยก่อนนั้นมีช้างจำนวนมาก อาศัยที่บริเวณเขาชาวบ้านเรียกว่าเขาโขลง ต่อมาช้างป่าหมดไป จึงไม่มีใครเห็นช้าง ทำให้เรียกเพี้ยนเป็นเขาขลุง และเรียกเป็นชื่อของตำบลมาจนถึงทุกวันนี้