นับตั้งแต่สมัยกรุงศรีอยุธยาจนถึงกรุงรัตนโกสินทร์ ตอนต้น เกาะช้างคือที่พักหลบคลื่นลม ในฤดูมรสุมของเรือสำเภาจากเมืองจีน ที่เดินทางเข้ามาค้าขายกับประเทศไทย เหตุนี้จึงเชื่อกันว่า พ่อค้าชาวจีนที่มากับเรือสำเภาจะเป็นผู้บุกเบิกและตั้งถิ่นฐานบนเกาะช้างในรุ่นแรกๆ ที่เข้ามาปักหลักตั้งถิ่นฐานและทำมาหากิน
บนเกาะช้าง

       ต่อมาเมื่อฝรั่งเศสได้เข้ามาตั้งอาณานิคม ส่งผลให้ปริมาณเรือสำเภาจีนในละแวกนี้ลดจำนวนลง กระทั่งสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชการที่ ๕ ได้ทรงทำสนธิสัญญา ยกเมืองพระตะบอง เสียมราฐ ศรีโสภณและเมืองปัตจันตคีรีเขต(เกาะกง) ให้กับฝรั่งเศส เพื่อแลกกับความเป็นเอกราชของเมืองจันทบุรี และเมืองตราด เมื่อวันที่ ๒๓ มีนาคม พ.ศ. ๒๔๔๙ หลังจากนั้นชาวไทยและชาวเขมรเกาะกง ตลอดจนผู้คนจากฝั่งเมืองตราด แหลมงอบ เขาสมิง จันทบุรี ระยอง แกลง ฯลฯ ก็ทยอยเดินทางเข้ามาปักหลักตั้งถิ่นฐานทำมาหากินบนเกาะช้างมากขึ้น (มติชนสุดสัปดาห์ , เกาะช้าง: (๑) ยุทธศาสตร์การท่องเที่ยวสู่หนใด,๒๕๔๕ :๓๔-๓๖)

       ที่มาของชื่อเกาะช้าง จะเรียกขานกันมาตั้งแต่ครั้งใดนั้นเป็นการยากที่จะสอบสวนหาหลักฐานความจริงได้
ที่ผู้เขียนพอจะสืบค้นจากเอกสาร (สาครคชเขตต์,หลวง.๒๕๑๕:๓๙๘-๔๐๑ ) กล่าวไว้ว่า “การที่เรียกเกาะนี้ว่า
เกาะช้าง นั้น คงเนื่องมาจากเกาะลูกนี้เป็นเกาะใหญ่โตกว่าเขา หรือนัยหนึ่งรูปเกาะมีลักษณะคล้ายช้าง เพราะช้างเป็นสัตว์ใหญ่กว่าสัตว์อื่นๆ จึงได้เทียบนามว่าเกาะช้างนั่นเอง นอกจากที่จะมีเกาะช้างใหญ่โดยเฉพาะแล้ว ยังมีเกาะช้างน้อย (ลูกเล็ก) ซึ่งตั้งอยู่ใกล้เคียงทางด้านขวามือ (มองจากหน้าใน) ไปทางทิศเหนืออีกลูกหนึ่ง ซึ่งมีลักษณะคล้ายกับลูกช้างเหมือนกัน แต่แม้จะมีเกาะช้างน้อยลูกนี้แล้ว ก็ยังมีส่วนที่สำคัญอันเกี่ยวกับเกาะช้างอยู่อีกกล่าวคือ ขี้ช้าง และขี้ช้างก้อนนี้เองย่อมเป็นบ่อเกิดแห่งความเป็นอันตรายแก่การสัญจรไปมาโดยทางเรือ  เพราะเหตุว่าขี้ช้างก้อนนี้เป็นหินกองตั้งอยู่ไต้น้ำระหว่างกึ่งกลางร่องน้ำเกาะช้างด้านหน้าใน ตามเสียงชาวบ้านเล่าว่าเมื่อก่อนที่ยังไม่มีประภาคาร(กระโจมไฟ) ตั้งเหมือนเดี๋ยวนี้ หินกองก้อนนี้เป็นต้นเหตุให้เก ิดอันตรายแก่เรือที่สัญจรผ่านไปมาเป็นประจำ เพราะหินกองก้อนนี้มีระดับสูงพ้นน้ำเพียงเล็กน้อย หากไม่สังเกตหรือไม่มีความชำนาญเส้นทางร่องน้ำจะมองไม่ค่อยเห็น ยิ่งตอนเวลาน้ำขึ้นเต็มที่จะมองไม่เห็นเลย ดังนั้นต่อมาหน่วยงานทางการสมัยก่อนได้เห็นเหตุอันอันตรายอันนี้ จึงได้มีการสร้างประภาคาร(กระโจมไฟ) ขึ้นไว้บนหินกองนี้ เพื่อความสะดวกในการสัญจรไปมาของประชาชนโดนทางเรือตั้งแต่นั้นมา
(สำหรับความเห็นส่วนตัวของผู้เขียน จากที่ได้สังเกตภูมิประเทศในภาพรวมของเกาะช้างหลายๆ ครั้งก็มีความรู้สึกคล้อยตามกับเหตุผลของชื่อเกาะช้างดังกล่าวมาข้างต้น  เพราะหากมองจากท่าเรือข้ามฟากฝั่งอำเภอแหลมงอบ จะมองเห็นหมู่เกาะช้าง  นั้นมีลักษณะคล้ายฝูงช้างเดินเกาะกลุ่มตามกันหลายตัว ตัวเล็กบ้างตัวโตบ้าง
(ตามลักษณะความสูงต่ำของเทือกเขาเกาะช้างที่เรียงรายลดหลั่นกัน โดยมีลูกช้าง(เกาะช้างน้อย) ตัวหนึ่งก้มหน้าเดินนำฝูง )