เรื่องเล่าดำริเริ่มสร้างวัดของชายข้าพระโยมสงฆ์ ผู้มาเห็นชอบร่วมมือร่วมใจกับหญิงแม่มดข้าผีทาสีเจ้า มีเนื้อความหลักอยู่ในหนังสือ ตำนานวัตถุสถานต่าง ๆ ซึ่งพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวทรงสถาปนา ดังนี้

“๑๗.วัดสังข์กระจาย ตั้งอยู่ในคลองบางวัวทอง หรือเรียกว่าคลองลำเจียกน้อย เดิมมีตำนานกล่าวว่า นายสังข์เป็นตำแหน่งสารบบ (ในกรมพระสุรัสวดี) ตั้งบ้านเรือนอยู่ในคลองคูเข้าไปประมาณ ๗ เส้น ได้สร้างกุฎีวิปัสสนาไว้หลัง ๑ ในสวนของตน ครั้นต่อมามีหญิงแม่มดคน ๑ ชื่อจ่าย เป็นข้าอยู่ในเจ้าจอมแว่น พระสนมเอกในรัชกาลที่ ๑ ซึ่งเจ้านายตรัสเรียกกันว่า “คุณเสือ” เป็นผู้ดูแลสวนของเจ้าจอมแว่น ซึ่งมีเนื้อที่ติดต่ออยู่กับที่ของนายสังข์ ออกมาจนถึงคลองบางกอกใหญ่ ปรึกษากับนายสังข์ คิดกันสร้างอุโบสถต่อหลังกุฎีวิปัสสนาของนายสังข์ แล้วแม่มดจ่ายจึงขอความช่วยเหลือจากเจ้าจอมแว่นให้ช่วยสร้างกุฎีสำหรับพระสงฆ์  เจ้าจอมแว่นจึงช่วยสร้างให้ตามความขอร้องของแม่มดจ่าย  ครั้นเสร็จบริบูรณ์แล้ว ถึงเวลาจะขอพระราชทานที่วิสุงคามสีมา  แม่มดจ่ายกับนายสังข์เกิดแตกต่างกัน  ด้วยแม่มดจ่ายก็จะขอนามของตน ฝ่ายนายสังข์ก็จะขอนามของตนเหมือนกัน  แม่มดจ่ายจึงได้นำความนั้นเข้าไปเรียนเจ้าจอมแว่น เจ้าจอมแว่นจึงนำความกราบบังคมทูลพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลก ขอพระราชทานที่วิสุงคามสีมา  มีพระราชดำรัสว่า วัดที่นายสังข์กับแม่มดจ่ายสร้างนั้น ไม่สมกับเกียรติยศเจ้าจอมแว่น จะสร้างพระราชทานใหม่ จึงมีพระราชดำรัสให้กรมหมื่นไกรสรวิชิต เป็นนายงาน สร้างพระอุโบสถขึ้นใหม่เคียงกับกุฎีพระสงฆ์เดิมตอนข้างตะวันออกเฉียงใต้ หันหน้าไปทางคลองคูบางวัว-ทองเหมือนอย่างของเดิม สร้างกุฎีขึ้นใหม่ตรงพระอุโบสถด้านใต้ กล่าวกันว่าเมื่อแรกขุดรากพระอุโบสถนั้น พบพระกัจจายหน้าตัก ๑๐ นิ้วกับสังข์ ๑ ตัว  แต่สังข์นั้นชำรุด  พระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกจึงพระราชทานนามวัดว่า วัดสังกัจจาย  ครั้นต่อมาคนเรียกชื่อกลายเป็นวัดสังกระจาย  วัดนี้แม้ทรงสร้างพระราชทานเจ้าจอมแว่น ก็โปรดฯ ให้นับเป็นพระอารามหลวงแห่งหนึ่งมาแต่แรกพระราชทาน จึงโปรดฯ ให้พระเทพมุนีไปเป็นเจ้าอาวาส ครั้นล่วงรัชกาลที่ ๑ แล้ว เจ้าจอมแว่นได้ออกมาทำบุญให้ทานอยู่ในวัดนี้ จึงได้ถวายที่สวนของตนทั้งหมดเป็นของวัด”