เดิมทีนั้น “ท่านทองดี” (หรือ “หลวงพินิจอักษร”)  พักอาศัยอยู่บ้านเดียวกับ”ท่านทองคำ” (หรือ“พระยาราชนิกูล”) ผู้เป็นบิดา  ที่ย่านป่าตอง(ภายในกำแพงพระนครกรุงศรีอยุธยา)  ใกล้กับวัดบรมพุทธาราม(หรือวัดกระเบื้องเคลือบ)  ซึ่ง “พระเพทราชา” ได้ทรงโปรดให้สร้างขึ้นในบริเวณที่ดินซึ่งเป็นนิวาสสถานเดิมของพระองค์

               ครั้นแต่งงานแล้วจึงได้ย้ายไปปลูกสร้างบ้านเรือนในที่ดินของภรรยา (“ท่านดาวเรือง” หรือ “ท่านหยก”)ที่บริเวณหลัง “ป้อมเพชร”  (ภายในกำแพงพระนครเช่นกัน  หากแต่เป็นด้านทิศตะวันออกเฉียงใต้) และได้บริจาคทรัพย์สร้างวัดสำหรับตระกูลขึ้นมาวัดหนึ่ง  ซึ่งได้แก่ “วัดทอง” (ปัจจุบันคือ “วัดสุวรรณดาราราม” พระอารามหลวง “ชั้นเอก”  ชนิด “ราชวรวิหาร”)

               ดังนั้น “คุณทองด้วง” จึงน่าจะพักอาศัยอยู่ที่บ้านหลังนี้ตั้งแต่แรกเกิดตราบจนเจริญวัย    หากแต่ในช่วงที่ต้องบวชเรียนตามประเพณีไทยบางตำนานกลับระบุว่า  ท่านได้บรรพชาเป็นสามเณรที่ “วัดสามวิหาร” (ซึ่งอยู่ใกล้บ้าน “เจ้าคุณกลาโหมเสน” บิดา “เจ้าพระยาอรรคมหาเสนา(บุนนาค)”   ส่วนตอนอุปสมบทไปจำพรรษาอยู่ “วัดมหาทลาย” (ซึ่งอยู่เหนือวัดเจ้าพระยาไทยหรือวัดใหญ่ชัยมงคลในปัจจุบัน)   

               โดยเฉพาะในช่วงที่อุปสมบทเป็นพระภิกษุนั้น  บางตำนานได้แทรกเกร็ดเอาไว้ด้วยว่า  เช้าวันหนึ่งขณะที่“พระทองด้วง” กำลังยืนสนทนาอยู่กับ “พระสิน”  (ซึ่งหลังจากเสียกรุงครั้งที่ 2ได้เป็นผู้นำในการกอบกู้เอกราชคืนจากพม่า  และขึ้นครองราชย์เป็น “พระเจ้ากรุงธนบุรี”)   อยู่ ณ ริมถนนสายหนึ่ง(ในกำแพงพระนคร)  เนื่องจากรู้จักคุ้นเคยกันมาก่อนหน้า  บังเอิญมีชายจีนวัยชราคนหนึ่งเดินมาพบเข้าพอดี  แต่แทนที่บุคคลดังกล่าวจะเดินเลยไปตามปกติวิสัย  กลับหยุดยืนจ้องหน้าพระภิกษุทั้ง 2 รูปแล้วหัวเราะขึ้นหลายครั้ง  ทั้งในช่วงที่ผละออกเดินจากไปยังเหลียวกลับมามองพลางหัวเราะพลางอยู่อย่างนั้น

               ทำให้ “พระสิน” รู้สึกสงสัยอยู่ครามครัน  จึงได้กวักมือเรียกให้จีนเฒ่ากลับมาหา  และได้เอ่ยปากถามขึ้นว่า “ที่ท่านมองหน้าเราแล้วหัวเราะนั้นเป็นเพราะเหตุใด”

               ชายจีนวัยสูงอายุคนดังกล่าวตอบว่า  “ก็เพราะมองเห็นราศีของท่านทั้งสองแปลกกว่าคนทั้งหลาย”

               “พระสิน” ถามต่ออีกว่า “พูดอย่างนี้แสดงว่าท่านเป็นซินแสใช่ไหม”  ครั้นจีนชราพยักหน้าพร้อมกับตอบรับว่า “ใช่”  “พระสิน” จึงบอกว่า “ถ้าอย่างนั้นก็ขอให้ช่วยดูอาตมาด้วยแล้วกัน”

               หลังจากซินแสคนนั้นขอทราบวันเดือนปีเกิดและตรวจดูลายมือของ “พระสิน” แล้วได้พยากรณ์ว่า  “ในอีกไม่ช้าท่านจะได้ก้าวขึ้นเป็นพระมหากษัตริย์อย่างมิพักต้องสงสัย”   ซึ่งทำให้ “พระสิน” หัวเราะออกมาในเชิงขบขัน  เพราะไม่เชื่อถือในคำทำนาย

               ฝ่าย “พระทองด้วง” แม้จะพลอยเห็นขันแต่ก็ไม่วายนึกสนุก  จึงได้ยื่นมือให้ซินแสพร้อมกับบอกวันเดือนปี   และคำตอบที่ได้รับก็คือ “ท่านก็จะได้เป็นกษัตริย์เช่นกัน”