เกาะปันหยี เป็นเกาะเล็ก ๆ มีที่ราบประมาณ 1 ไร่ มีบ้านเรือน 300 หลังคา มีประชากรประมาณ 4,000 คน ตั้งอยู่ทางทิศตะวันตกเฉียงใต้ของที่ว่าการอำเภอเมืองพังงา ประมาณ 7 กิโลเมตร มีลักษณะเป็นเขาหินปูนสูงชะลูด แวดล้อมด้วยเกาะน้อยใหญ่