而歸莊的叔叔繼登，原本在史書記載中會在長興遇害。但目前因為顧橫，而在湖廣的一個地方任知府。
顧橫改變了歸莊聞耗，不辭險阻，赴湯蹈火，往收兩人遺骨而歸的結局。
顧橫原以為，接下來的結局也將改變。
因為若無顧橫出現，待清兵又攻江南，昆山知縣出走，縣丞閻茂才代知縣，會下剃發令，士民大嘩。
而歸莊會在此刻鼓動群眾殺閻茂才，閉城拒守，到後麵城破，死者四萬餘人，歸莊的嫂子陸氏、張氏都殉節而死，歸莊的父親也在不久後離世。
歸莊還會被指名搜捕，亡命他鄉，沒多久，歸莊又潛返鄉裡，削發為僧，稱普明頭陀。
後來顧絳改名“炎武”，歸莊則改名“祚明”，以示誌向。
而到順治九年，應萬年少之聘，歸莊到淮陰任教，暗中與顧炎武聯係謀抗清。
第二年歸莊“泣血負土”，歸葬三世七人於新地，另有仲兄爾德隨史可法戰死揚州，屍骨無存，為其立衣冠塚。
歸莊後來築茅廬於墓側居處，自題一聯於堂上：“兩口居安樂之窩，妻太聰明夫太怪；四鄰接幽冥之宅，人何寥落鬼何多。”
歸莊家茅廬柴門破爛不能掩閉，椅子缺腿少麵以繩緯索，卻又自撰歸莊居室聯，雲：入其室，空空如也；問其人，囂囂然曰。
歸莊在亂世中的唯一慰藉是有一位知心的妻子，感情甚篤。他曾把內室署名為“推仔樓”，人不解其意，問之，答雲：“才子佳人合抱也”。
後來顧橫細想，這應該是按“推仔”二字拆開，是“才子佳人”四字。
歸莊為了表示和新朝劃清界限，甚至將自已的居所命名為“己齋”，以示抗拒。
“己齋”乃是“己之齋也”，亦即是“我之所居”的意思。
歸莊指這樣命名自己的居所，是“不得已而寓其意”，與何晏於魏宮之中，畫地自處，命名為“何氏之廬”，以區彆於外麵非何氏之土的用意一樣。
萬年少死後，歸莊回昆山隱居，賣書畫為生，拒不仕清，野服終身。
後來歸莊又遭母喪，繼而長子外出謀生，不知所終。
“其秋傳凶問，不詳地與日”，他於是愈加癲狂，每日“縱酒狂歌，長篇短詠，揮灑淋漓”，往來湖山，談忠義者以莊為歸。
晚年的歸莊寄食僧舍，非素交雖厚不納。
好友顧炎武此時遠遊北方、為重振大明而四處奔走。
歸莊每念及故友，不勝唏噓，寫信言道：“昔柳子厚之竄於南方，懷其祖先不若馬醫畦之鬼，無享歲時之祭，君獨無邱墓之思乎？”
然參商兩地，歸莊和顧炎武兩人終未再見一麵。
歸莊晚年致力於彙刻曾祖《歸有光全集》，康熙十二年還沒有完成此書就去世了，卒年六十一。
歸莊在逝世那年的元旦，作了一首詩，詩說：常年元日五更興，多病衰翁茲未能。名姓不勞通邑裡，豆觴並免召親朋。山頭爆竹豪家事，天上風雲稔歲徵。甲子重逢懷感歎，平生壯誌竟何憑？
用“甲子”紀年，不用清朝的年號，亦了卻了歸莊作為明遺民的心願。