สำหรับเกาะช้างมีเรือสำเภาจีนเข้ามาติดต่อค้าขายแลกเปลี่ยนสินค้า และมีคนจีนเข้ามาตั้งหลักฐาน
ทำมาหากินอยู่บนเกาะช้างเป็นจำนวนมาก  ทางราชการจึงได้ตั้งด่านศุลกากรสถาน (CUSTOM  HOUSE)  ขึ้น
ที่บ้านด่านใหม่  ตำบลเกาะช้าง  เพื่อเก็บภาษีจากเรือสำเภาจีน (ปัจจุบันยังหลงเหลือร่องรอยสถานที่ตั้งด่านฯ)


             ใน พ.ศ. ๒๔๔๐  ได้จัดตั้งอำเภอขึ้น ใช้ชื่อว่าอำเภอเกาะช้าง  ตั้งอยู่ที่บ้านด่าน ตำบลเกาะช้าง  พื้นที่ของอำเภอเกาะช้างในสมัยนั้นรวมถึงตำบลแหลมงอบ (อำเภอแหลมงอบในปัจจุบัน)  เกาะกูด (กิ่งอำเภอเกาะกูดในปัจจุบัน)    และเกาะต่าง ๆ  รวม ๕๒  เกาะ   สาเหตุที่ตั้งบ้านด่านเพราะเป็นแหล่งรวมของการค้าขาย   เรือสำเภาจีนจะนำสินค้าจากเมืองจีนมาลงขายส่วนหนึ่งและแล่นต่อไปกรุงเทพฯ  ขากลับจะแวะพักที่บ้านด่านอีกครั้ง  จากคำบอกเล่าของผู้เฒ่าผู้แก่  เล่าว่าเวลาเรือสำเภาจีนจากเมืองจีนมาจอด     จะมีผู้คนจากแหลมงอบนั่งเรือใบหรือเรือแจวมาซื้อสินค้าจากเมืองจีน  เวลาเรือสำเภาจีนเดินทางมาจากกรุงเทพฯ  คนจากฝั่งแหลมงอบจะนำสินค้า ทางการเกษตรมาขายให้เรือสำเภาจีนนำกลับไปขายเมืองจีน     ผู้เฒ่าผู้แก่เล่าว่าสมัยตั้งอำเภอเกาะช้างใหม่ ๆ ยังมีโรงฝิ่น อยู่ ๒–๓ โรง  เพราะคนจีนสมัยนั้นนิยมสูบฝิ่นและทางราชการยังไม่ห้ามสูบฝิ่นในสมัยนั้น


         ฝรั่งเศสยึดอำเภอเกาะช้าง   เมืองตราด  พ.ศ.  ๒๔๔๗
หลังจากฝรั่งเศสยึดเมืองจันทบุรี  ปี พ.ศ. ๒๔๓๖  และไทยตกลงตามข้อเรียกร้องฝรั่งเศสก็ไม่ยอมถอนตัวออกจากเมืองจันทบุรี  โดยขอให้สยามยกเมืองตราดและเกาะช้างทั้งหมด  ตั้งแต่แหลมหินถึงเกาะกูด  รวมไปถึงเมืองปัจจันตคีรีเขต (เกาะกง)  สยามต้องตกลงตามสัญญา  ลงวันที่ ๑๓  กุมภาพันธ์  ๒๔๔๖ (ร.ศ. ๑๒๒)  ฝรั่งเศสถอนตัวจากเมืองจันทบุรี  เข้ายึดเมืองตราด  เมื่อวันที่  ๒๘ ธันวาคม  ๒๔๔๗ (ร.ศ. ๑๒๓)  ๒  ปี  ๖  เดือน  ๗  วัน  ภายใต้การปกครองของฝรั่งเศส
รัชกาลที่ ๕  ทรงเห็นว่าเมืองตราดเป็นเมืองที่มีภูมิประเทศสำคัญทางภูมิศาสตร์  และประชาชนก็เป็นสยามทั้งสิ้น  ไม่ควรอยู่ในความปกครองของคนตราดสาม ารถด้านการทูตกับฝรั่งเศสขอเมืองตราดและเกาะต่าง ๆ  ตั้งแต่แหลมหินไปจนถึงเกาะกูดกับเมืองด้านซ้ายฝั่งขวาแม่น้ำโขงคืนโดยสยามยอมยกดินแดนเมืองพระตะบอง  เสียมราฐ  ศรีโสภณ  รวมทั้งเมืองปัจจันตคีรีเขตบางส่วน  ให้กับฝรั่งเศส  สัญญา
ลงวันที่  ๒๓  มีนาคม  ๒๔๔๙ รวมเวลาที่เมืองตราดถูกฝรั่งเศสยึดครองเป็นเวลา ๒  ปี ๖ เดือน ๗ วัน


            ปี  พ.ศ. ๒๔๕๐   ย้ายที่ว่าการอำเภอเกาะช้าง  ไปอยู่ฝั่งแหลมงอบ ในปี พ.ศ. ๒๔๕๐ เรือสำเภาจีนเดินทางเข้ามาค้าขายน้อยลง  เนื่องจากอิทธิพลของฝรั่งเศสที่เข้ามาล่า เมืองขึ้น  เมืองญวน เมืองเขมร  และส่วนหนึ่งของสยามถูกฝรั่งเศสยึดครอง ประชาชนจากตำบลแหลมงอบ ไม่ค่อยได้เดินทางมาอำเภอเกาะช้าง กอปรกับการมาติดต่อที่อำเภอเกาะช้างมีความลำบากเพราะคลื่นแรงเกือบตลอดปีทางราชการจึงย้ายที่ว่าการอำเภอเกาะช้างไปตั้งอยู่ที่ฝั่งตำบลแหลมงอบแต่ยังใช้ชื่อว่าอำเภอเกาะช้างอยู่

จากอำเภอเกาะช้าง  เป็นตำบลเกาะช้าง  พ.ศ. ๒๔๘๒
อำเภอเกาะช้างตั้งมา ๓๒ ปี จนถึงปี  พ.ศ. ๒๔๘๒ ทางราชการจึงเปลี่ยนชื่ออำเภอใหม่ตามสถานที่ตั้ง  เป็นอำเภอแหลมงอบจนถึงปัจจุบัน  เกาะช้างจึงเป็นเพียงตำบลเกาะช้าง  ขึ้นกับอำเภอแหลมงอบ  ตั้งแต่นั้นมา