ที่มาของการถวายผ้าอาบน้ำฝน โดยปกตินางวิสาขา จะกราบทูลอาราธนาพระพุทธองค์พร้อมด้วยภิกษุสงฆ์มาเสวยฉันภัตตาหารที่บ้านของนางเป็นประจำ เมื่อจัดเตรียมภัตตาหารเสร็จเรียบร้อยแล้ว ก็จะให้สาวใช้ไปกราบทูลอาราธนาพระผู้มีพระภาคและภิกษุสงฆ์ให้เสด็จไปยังบ้านของนาง
วันหนึ่ง สาวใช้ได้มาตามปกติเหมือนทุกวัน แต่วันนั้นมีฝนตกลงมา พระสงฆ์ทั้งหลายจึงพากันเปลือยกายอาบน้ำฝน เมื่อสาวใช้มาเห็นเข้าก็ตกใจเพราะความที่ตนมีปัญญาน้อยคิดว่าเป็น นักบวชชีเปลือย จึงรีบกลับไปแจ้งแก่นางวิสาขาว่า"ข้าแต่แม่เจ้า วันนี้ที่วัดไม่มีพระอยู่เลย เห็นมีแต่ชีเปลือยแก้ผ้าอาบน้ำ กันอยู่"
นางวิสาขาได้ฟังคำบอกเล่าของสาวใช้แล้ว ด้วยความที่นางเป็นพระอริยบุคคลชั้นโสดาบัน เป็นมหาอุบาสิกา เป็นผู้มีปัญญาศรัทธาเลื่อมใส มีความใกล้ชิดกับพระภิกษุสงฆ์ จึงทราบเหตุการณ์โดยตลอดว่า พระบรมศาสดาทรงอนุญาตให้พระภิกษุมีผ้าสำหรับใช้สอยเพียง 3 ผืน คือ ผ้าจีวรสำหรับห่ม ผ้าสังฆาฎิสำหรับห่มซ้อน และผ้าสบงสำหรับนุ่ง ดังนั้น เมื่อเวลาพระภิกษุจะอาบน้ำจึงไม่มีผ้าสำหรับผลัดอาบน้ำ ก็จำเป็นต้องเปลือยกายอาบน้ำ
นางวิสาขา จึงอาศัยเหตุนี้ เมื่อพระบรมศาสดาเสด็จมาประทับที่บ้าน และเสร็จภัตกิจแล้ว นางวิสาขาจึงได้เข้าไปกราบทูลขอพร เพื่อถวายผ้าอาบน้ำฝนแก่พระภิกษุสงฆ์ พระพุทธองค์ประทานอนุญาต ตามที่ขอนั้น และนางวิสาขาก็เป็นบุคคลแรกที่ได้ถวายผ้าอาบน้ำฝนแก่พระภิกษุสงฆ์
