ตำนานของแหลมงอบตำนานแรก ได้เล่าว่า มีหญิงชราคนหนึ่ง ชื่อ ยายม่อม มีคอกควายอยู่ที่สลักคอก วันหนึ่งควายของยายม่อมได้หายไป ยายม่อมจึงออกตามหาควาย และได้จมน้ำทะเลตายกลายเป็นโขดหินชื่อ ยายม่อม ส่วนงอบของยายม่อมกลายเป็นแหลมงอบ ควายของยายม่อมกลายเป็นโขดหินเล็ก ๆ เช่นกัน ส่วนตำนานของเกาะช้างตำนานแรก เล่าว่า เดิมเกาะนี้มีเสืออยู่ ในสมัยรัชกาลที่ 4 มีชาวญวนคนหนึ่งชื่อ องค์โด้ ได้ทำพิธีขว้างก้อนหินลงไปในทะเลและสาบว่า ถ้าหินนี้ไม่ผุดขึ้นมาให้คนเห็น เกาะช้างจะไม่มีเสืออีกต่อไป เกาะช้างจึงไม่มีเสือมาจนทุกวันนี้ นิทานเรื่องนี้ นายติ้น ที่เป็นคนที่อยู่เกาะช้างได้เล่าถวายพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว และได้รับพระราชทานบรรดาศักดิ์เป็นหลวง ต้นสกุล สลักเพชรุ้ง นอกจากนี้ยัง มีตำนานแหลมงอบ เกาะช้าง ซึ่งมีผู้เขียนไว้อีกว่า มีความเกี่ยวข้องกับชื่อของหมู่เกาะช้าง ชื่อสถานที่ และเหตุที่เกาะช้างไม่มีช้าง มีอยู่สมัยหนึ่ง พระโพธิสัตว์ได้สร้างตำหนักเลี้ยงช้างอยู่ที่เกาะช้าง มีช้างพลายอยู่เชือกหนึ่งเป็นจ่าโขลง มีชื่อว่า อ้ายเพชร และมีสองตายายคอยเลี้ยงดู ตาชื่อ ตาบ๋าย ยายชื่อ ยายม่อม วันหนึ่ง อ้ายเพชรจ่าโขลงเกิดตกมันเตลิดเข้าในป่า ไปผสมพันธุ์กับนางช้างป่า ตกลูกมา 3 เชือก เมื่อพระโพธิสัตว์รู้เรื่องเข้า จึงได้ทรงสั่งให้ตายายติดตามหาอ้ายเพชร โดยให้ตาไปทางหนึ่ง ยายไปอีกทางหนึ่ง อ้ายเพชรหนีไปจนสุดเกาะด้านเหนือจึงว่ายน้ำมาขึ้นฝั่งซึ่งปัจจุบันนี้เรียก ว่า บ้านธรรมชาติ ส่วนลูกทั้งสามที่ตามมาด้วย ว่ายน้ำยังไม่เป็น จึงจมน้ำตายแล้วกลายเป็นหิน 3 กอง อยู่บริเวณอ่าวคลองสน จนชาวบ้านพากันว่า “หินช้างสามลูก” ในขณะที่อ้ายเพชรว่ายน้ำไปถึงกลางร่องทะเลลึก ได้ถ่ายมูลทิ้งไว้กลายเป็นกองหินอยู่ตรงนั้น เรียกว่า “หินขี้ช้าง” ปัจจุบันมีประภาคารบนหินกองนี้ เมื่อสามารถขึ้นฝั่งได้แล้ว อ้ายเพชรได้เดินเลียบไปตามชายฝั่งทิศใต้ ตาบ๋ายเห็นว่าไปไกลแล้วตามไปไม่ทันจึงเดินทางกลับ ปล่อยให้ยายติดตามไปผู้เดียว ยายม่อมตามไปจนทันช้างขึ้นฝั่งแต่ไม่กล้าเข้าไปในป่าเพราะกลัวว่าสัตว์จะทำ ร้ายเอา ในที่สุดก็ตกลงไปในโคลนไม่สามารถขึ้นมาได้ จนถึงแก่ความตายอยู่ตรงนั้นเอง ร่างกายของแกกลายเป็นหินอยู่ตรงนั้น ชาวบ้านจึงพากันเรียกว่า “หินยายม่อม” ส่วนงอบที่สวมไว้ได้หลุดลอยไปติดอยู่ที่ปลายแหลม และกลายเป็นหิน ชาวบ้านเรียกว่า “แหลมงอบ” ตรงบริเวณที่ตั้งประภาคารในปัจจุบันนี้ ซึ่งเป็นชื่อที่ได้จากงอบของยายม่อมที่ลอยไปติดชายฝั่งนั่นเอง เมื่อพระโพธิสัตว์ทราบว่า อ้ายเพชรมุ่งหน้าไปทางทิศใต้ จึงเข้าใจว่าอ้ายเพชรจะต้องไปที่เกาะอีก จึงเกณฑ์คนให้ทำคอกดักไว้จนเกือบถึงท้ายเกาะด้านใต้ ชาวบ้านจึงเรียกบริเวณแถบนี้ว่า “บ้านคอก” และเกาะซึ่งเกิดจากลิ่มและสลักที่ทำคอกนั้น เรียกว่า “เกาะลิ่ม” “เกาะสลัก” ส่วนมากจะเรียกรวมกันว่า “บ้านสลักคอก” ฝ่ายอ้ายเพชรนั้น เมื่อเดินเลียบชายฝั่งมาจนถึงท้ายเกาะ ก็ข้ามไปยังเกาะตามที่คาดไว้ พอว่ายน้ำไปได้สักครู่หนึ่งก็ถ่ายออกมากลายเป็น “หินกอง” ทุกวันนี้น้ำในบริเวณนั้นลึกมาก แต่ไม่ได้เป็นเส้นทางเดินเรือ จึงไม่ได้มีการสร้างประภาคารขึ้นที่บริเวณนี้ เมื่ออ้ายเพชรไปถึงแล้วแทนที่จะเข้าคอกไป  กลับเดินเลียบฝั่งอ้อมแหลมเข้าไปทางอ่าวด้านนอก พระโพธิสัตว์จึงได้สั่งให้คนไปช่วยกันสกัดให้กลับมาเข้าคอก ชาวบ้านจึงเรียกที่ ๆ ไปสกัดข้างนี้ว่าไปสลักหน้า และเรียกหมู่บ้านบริเวณนี้ว่า “บ้านสลักเพชร” ซึ่งหมายถึง สลักหน้าอ้ายเพชร โดยเหตุที่เกิดความยุ่งยากนี้ พระโพธิสัตว์จึงฝังอาถรรพ์ไว้ตามเกาะต่าง ๆ มิให้ช้างอาศัยอยู่อีกต่อไป นับแต่นั้นมา เกาะต่าง ๆ จึงไม่มีช้างอาศัยอยู่จนปัจจุบันนี้