สำหรับเกาะช้างมีเรือสำเภาจีนเข้ามาติดต่อค้าขายแลกเปลี่ยนสินค้า และมีคนจีนเข้ามาตั้งหลักฐาน
ทำมาหากินอยู่บนเกาะช้างเป็นจำนวนมาก ทางราชการจึงได้ตั้งด่านศุลกากรสถาน (CUSTOM HOUSE) ขึ้น
ที่บ้านด่านใหม่ ตำบลเกาะช้าง เพื่อเก็บภาษีจากเรือสำเภาจีน (ปัจจุบันยังหลงเหลือร่องรอยสถานที่ตั้งด่านฯ)
ใน พ.ศ. ๒๔๔๐ ได้จัดตั้งอำเภอขึ้น ใช้ชื่อว่าอำเภอเกาะช้าง ตั้งอยู่ที่บ้านด่าน ตำบลเกาะช้าง พื้นที่ของอำเภอเกาะช้างในสมัยนั้นรวมถึงตำบลแหลมงอบ (อำเภอแหลมงอบในปัจจุบัน) เกาะกูด (กิ่งอำเภอเกาะกูดในปัจจุบัน) และเกาะต่าง ๆ รวม ๕๒ เกาะ สาเหตุที่ตั้งบ้านด่านเพราะเป็นแหล่งรวมของการค้าขาย เรือสำเภาจีนจะนำสินค้าจากเมืองจีนมาลงขายส่วนหนึ่งและแล่นต่อไปกรุงเทพฯ ขากลับจะแวะพักที่บ้านด่านอีกครั้ง จากคำบอกเล่าของผู้เฒ่าผู้แก่ เล่าว่าเวลาเรือสำเภาจีนจากเมืองจีนมาจอด จะมีผู้คนจากแหลมงอบนั่งเรือใบหรือเรือแจวมาซื้อสินค้าจากเมืองจีน เวลาเรือสำเภาจีนเดินทางมาจากกรุงเทพฯ คนจากฝั่งแหลมงอบจะนำสินค้า ทางการเกษตรมาขายให้เรือสำเภาจีนนำกลับไปขายเมืองจีน ผู้เฒ่าผู้แก่เล่าว่าสมัยตั้งอำเภอเกาะช้างใหม่ ๆ ยังมีโรงฝิ่น อยู่ ๒–๓ โรง เพราะคนจีนสมัยนั้นนิยมสูบฝิ่นและทางราชการยังไม่ห้ามสูบฝิ่นในสมัยนั้น
ฝรั่งเศสยึดอำเภอเกาะช้าง เมืองตราด พ.ศ. ๒๔๔๗
หลังจากฝรั่งเศสยึดเมืองจันทบุรี ปี พ.ศ. ๒๔๓๖ และไทยตกลงตามข้อเรียกร้องฝรั่งเศสก็ไม่ยอมถอนตัวออกจากเมืองจันทบุรี โดยขอให้สยามยกเมืองตราดและเกาะช้างทั้งหมด ตั้งแต่แหลมหินถึงเกาะกูด รวมไปถึงเมืองปัจจันตคีรีเขต (เกาะกง) สยามต้องตกลงตามสัญญา ลงวันที่ ๑๓ กุมภาพันธ์ ๒๔๔๖ (ร.ศ. ๑๒๒) ฝรั่งเศสถอนตัวจากเมืองจันทบุรี เข้ายึดเมืองตราด เมื่อวันที่ ๒๘ ธันวาคม ๒๔๔๗ (ร.ศ. ๑๒๓) ๒ ปี ๖ เดือน ๗ วัน ภายใต้การปกครองของฝรั่งเศส
รัชกาลที่ ๕ ทรงเห็นว่าเมืองตราดเป็นเมืองที่มีภูมิประเทศสำคัญทางภูมิศาสตร์ และประชาชนก็เป็นสยามทั้งสิ้น ไม่ควรอยู่ในความปกครองของคนตราดสาม ารถด้านการทูตกับฝรั่งเศสขอเมืองตราดและเกาะต่าง ๆ ตั้งแต่แหลมหินไปจนถึงเกาะกูดกับเมืองด้านซ้ายฝั่งขวาแม่น้ำโขงคืนโดยสยามยอมยกดินแดนเมืองพระตะบอง เสียมราฐ ศรีโสภณ รวมทั้งเมืองปัจจันตคีรีเขตบางส่วน ให้กับฝรั่งเศส สัญญา
ลงวันที่ ๒๓ มีนาคม ๒๔๔๙ รวมเวลาที่เมืองตราดถูกฝรั่งเศสยึดครองเป็นเวลา ๒ ปี ๖ เดือน ๗ วัน
ปี พ.ศ. ๒๔๕๐ ย้ายที่ว่าการอำเภอเกาะช้าง ไปอยู่ฝั่งแหลมงอบ ในปี พ.ศ. ๒๔๕๐ เรือสำเภาจีนเดินทางเข้ามาค้าขายน้อยลง เนื่องจากอิทธิพลของฝรั่งเศสที่เข้ามาล่า เมืองขึ้น เมืองญวน เมืองเขมร และส่วนหนึ่งของสยามถูกฝรั่งเศสยึดครอง ประชาชนจากตำบลแหลมงอบ ไม่ค่อยได้เดินทางมาอำเภอเกาะช้าง กอปรกับการมาติดต่อที่อำเภอเกาะช้างมีความลำบากเพราะคลื่นแรงเกือบตลอดปีทางราชการจึงย้ายที่ว่าการอำเภอเกาะช้างไปตั้งอยู่ที่ฝั่งตำบลแหลมงอบแต่ยังใช้ชื่อว่าอำเภอเกาะช้างอยู่
จากอำเภอเกาะช้าง เป็นตำบลเกาะช้าง พ.ศ. ๒๔๘๒
อำเภอเกาะช้างตั้งมา ๓๒ ปี จนถึงปี พ.ศ. ๒๔๘๒ ทางราชการจึงเปลี่ยนชื่ออำเภอใหม่ตามสถานที่ตั้ง เป็นอำเภอแหลมงอบจนถึงปัจจุบัน เกาะช้างจึงเป็นเพียงตำบลเกาะช้าง ขึ้นกับอำเภอแหลมงอบ ตั้งแต่นั้นมา
