1949年1月宋子文辭去廣東省政府主席一職後，再也沒有擔任過國民黨政府的任何職務。6月，宋子文抵達美國，他與駐美大使顧維鈞談話時表示，作為一個平民，他不願拜會美國的官員。
1958年12月，宋子文前往香港住了20來天。香港報章曾登載了關於他將重新承荷政治使命的種種說法。但宋子文在香港記者招待會上稱：來港就是為了看朋友、度聖誕節，沒有政治使命。他說：“我已是望七之人了，和政治生活已隔開得太久了，不準備再搞了。”對於所提種種敏感問題，他一概閃避，不作正面答覆。記者們感慨：宋子文，“顯得蒼老而瘦削，發已半白”，給人們一種對一切都毫無興趣、與世無爭的印象。
1963年2月，宋子文接受蔣介石、宋美齡的邀請，前往臺灣住了十來天。期間，他探望了多年不見的朋友故舊。
這是宋子文退出政壇定居美國之後，第一次也是最後一次訪問臺灣。雖然1965年5月宋子文被聘為“中華民國”各界紀念國父百年誕辰籌備委員會名譽委員，但他沒有參加當年11月在臺灣舉行的相關活動。
退出政壇，宋子文大部分時間和精力都花在第二代、第三代身上了。大女兒宋瓊頤出生於1928年，夫君馮彥達（1921—2004），是上海永安公司創辦人郭彪的外孫，其父馮執正是宋子文青年時代的朋友，曾任駐德國漢堡領事、駐荷蘭阿姆斯特丹領事；抗戰時期先後出任中國駐印度加爾各答總領事、駐美國舊金山總領事，1945年8月底起任駐墨西哥大使。二女兒宋曼頤，丈夫是新加坡華裔餘經鵬。三女兒瑞頤嫁給了菲律賓楊姓華僑。宋子文夫婦對三個女兒自幼便關愛有加，待到女兒一個個長大成家，三個女婿也都英俊碩健，事業有成，大家庭一派祥和之氣，親情融融。三個女兒共生育了九個外孫（女），這使得宋子文夫婦晚年生活充滿了生氣和樂趣。對他們來說，節假日和生日就意味著與女兒和孫輩們的相聚。宋子文喜歡與外孫輩一起做遊戲、捉迷藏，遇上吹生日蠟燭，宋子文總要拉上外孫們“幫忙”。
隨著年事漸高，宋子文舔犢之情更濃。特別是大女兒瓊頤的二兒子馮英祥，從小便與外公外婆生活在一起，是宋子文看著、帶著逐漸長大的。後來馮英祥回到父母身邊，宋子文便時常牽掛。有時夫婦二人離開紐約外出度假時，宋子文總是會寫信給馮英祥。如1964年8月6日，宋子文在寫給馮英祥的一份較長的英文信函中說：“最親愛的麥克：我非常遺憾，我睡著了沒有接到你從機場打來的電話。我從你媽媽發來的電報中得知，你們大家都很好，品嚐著芒果。但你不要吃得太多，不然要得病的。我們非常想念你們大家。希望你早點回來，回來時發份電報到第五大街1133號。”這封信的落款是“GoGo宋子文”。因為孩提時的馮英祥在叫宋子文時，總是把“公公”念成“GoGo”，以後宋子文在與馮英祥的通信中，常常落款“GoGo”。
1949年之後，宋氏三姐妹、三兄弟中，除了宋慶齡之外都離開了中國大陸。隨著年歲漸高，不可遏阻的鄉思不時會向他們襲來。1962年10月11日，宋美齡自臺灣寫信給宋子文，內附在臺學者張其昀關於徐光啟研究的演講稿，並且親筆摘錄了關於徐光啟生平以及上海徐家彙的內容。宋美齡還以英文寫道：明朝最後一個皇帝崇禎，他吊死在故宮。清朝自1644年開始，亡於1911年。徐家彙的名稱一直沒有改變，但紀念我們先祖的廟已經改為商場。我們先祖建立的天文臺仍在。
收到宋美齡的信後，宋子文於10月31日回信，內稱：非常感謝您11日的來函，內附張其昀紀念我們先祖徐光啟誕辰400年的演講稿。我已經把附件分送給每個女兒，讓她們和她們的孩子知道，她們的先祖是何等的優秀，不同凡響。此外，宋子文還不忘把宋美齡的來函及他的回信的打印底稿給宋子安看。對先祖徐光啟的崇敬，表明海外宋氏各家沒有忘記自己是炎黃子孫。