จากหนังสือเกาะยอปริทรรศน์ เขียนว่า พ.ศ.2442พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว(รัชกาลที่5) ได้เสด็จประพาสเกาะยอเป็นครั้งที่2 เจ้าเมืองสงขลาสมัยนั้นคือ พระยาวิเชียรคีรี (ชม ณ สงขลา) ได้ใช้ท่าเรือบริเวณที่ตั้งโรงอ่าง บ้านสวนทุเรียน หมู่ที่4 เป็นสถานที่รับเสด็จ โดยสร้างพลับพลาให้เป็นที่ประทับชั่วคราว ณ ที่นี้คุณทวดก่ำ ภัทรชนม์ ช่างทอผ้าบ้านสวนทุเรียนได้ทอผ้ายกดอกนำขึ้นทูลเกล้าถวาย พระองค์ทรงโปรดและได้พระราชทานนามลายผ้านั้นว่า "ลายราชวัตถ์" แปลว่าผ้าของพระราชา หรือราชาแห่งลายผ้าเกาะยอ(อนึ่งผ้าลายราชวัตถ์เขียนเป็นผ้าลายราชวัสตร์ก็ได้)