กิ่งอำเภอเกาะช้างมีประวัติอันยาวนาน  เดิมเกาะช้างเป็นเกาะที่ไม่มีชุมชนตั้งถิ่นฐานอยู่อาศัย  เป็นเพียง
ท่าจอดเรือหลบลมมรสุม แหล่งเสบียงอาหารและน้ำจืด เท่าที่มีหลักฐานนับตั้งแต่ครั้ง กรุงศรีอยุธยา  มีเรือสำเภาจากเมืองจีนเดินทางเข้ามาค้าขาย ผ่านเมืองญวน เมืองเขมร  เมืองเกาะกง (ซึ่งแต่เดิมเป็นของสยาม)และเข้ามาถึงเมืองตราดเรือสำเภาจะมาพักหลบคลื่นลมมรสุมในระหว่างเดือน  พฤษภาคม – ตุลาคม  ตามหมู่เกาะช้าง บริเวณบ้านด่านใหม่ บ้านคลองสน อ่าวสลักเพชรหรืออ่าวสลัด (เป็นที่รู้จักกันดีในหมู่โจรสลัดชาวจีนไหหลำและญวน)  และอ่าวบางเบ้า  จากการสอบถามผู้เฒ่าผู้แก่ที่มีชีวิตอยู่บนเกาะช้างจะเป็นคนจีน  หรือมีบรรพบุรุษเป็นคนจีนทั้งสิ้น  เชื่อว่าชาวจีนมากับเรือสำเภาจะเป็นกลุ่มแรกที่มาอาศัยตั้งถิ่นฐานทำมาหากินอยู่บนเกาะช้าง
สมัยกรุงศรีอยุธยา

          ในสมัยพระเจ้าปราสาททอง (พ.ศ.๒๑๗๘) มีชื่อเมืองตราดขึ้นกับฝ่ายคลังถือตามบัวแก้ว     ในสมัย
พระเจ้าเอกทัศน์ (พ.ศ. ๒๓๑)  กรุงศรีอยุธยาถูกพม่าปิดล้อมมีแต่ความระส่ำระสาย  ทหารไม่มีความสามัคคีไม่อาจรักษาพระนครไว้ได้  พระเจ้าตากสิน  เจ้าเมืองตากถูกเรียกตัวมาช่วย  จึงคิดรวบรวมไพร่พลกอบกู้เอกราชของบ้านเมืองขึ้นใหม่  เห็นว่าทางทิศตะวันออกซึ่งมีเม ืองจันทบุรีเป็นจุดหมาย      ปลายทางไม่เคยถูกย่ำยีจาก     ภัยสงคราม  บ้านเมืองอุดมสมบูรณ์เหมาะแก่การทั้งฐานทัพ  จึงพร้อมด้วยทหารคู่ใจหนีฝ่าวงล้อมทหารพม่า มาเมืองจันทบุรีตีเมืองแตก  รวบรวมลี้พลที่เมืองจันทบุรีและลงมา    เกลี้ยกล่อมผู้คนที่เมืองตราด  พบเรือสำเภาจีนจอดอยู่ที่ปากน้ำเมืองตราดหลายลำ  ทรงเรียกเข้ามาเฝ้าแต่สำเภาจีนขัดขืนจึงจัดกองทัพออกไปล้อมเรือสำเภาจีน  ได้ต่อสู้กันหนึ่งคืนกับครึ่งวันเรือสำเภาจีนจึงยอมแพ้  “ จีนเจี้ยม ”  นายเรือสำเภาใหญ่จึงเข้ามาเฝ้าถวายตัวและของเป็นจำนวนมาก (พระเจ้าตากสินเองก็มีบิดาเป็นคนจีนเช่นกัน)
สมัยกรุงรัตนโกสินทร์
            

              ในสมัยพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว  รัชกาลที่ ๓ (พ.ศ. ๒๓๗๖)  สยามได้ทำสงครามกับเมืองญวน  ต่อสู้กันอยู่ถึง  ๑๒  ปี  กองทัพสยามรุกรบไปจนถึงไซ่ง่อนขาดแต่เสบียงอาหาร  จึงถอยกองทัพกลับ  ในการรบกับญวนกองทัพเรือได้เกณฑ์คนและเสบียงอาหารจากเมืองตราดไปช่วยเหลือตลอดเวลาตามหลักฐานปรากฏว่ามีการตั้งค่ายอยู่ที่บ้านแหลมหิน   ปากอ่าวเมืองตราด   ยังปรากฏกองมูลดินและร่องรอยการก่อสร้างปรากฏอยู่จนถึงปัจจุบัน