無為縣城東門閣上附近殘存著幾間舊式建築，抬樑式構架、黑色小瓦、花格窗櫺，光滑的石板臺階……特別是屋前的那棵百年玉蘭樹，一片蓊鬱。此情此景，很容易讓人聯想到上海靜安區那座著名的藏書樓——小校經閣院內的玉蘭樹。
上海小校經閣院內的那四棵玉蘭樹，是當年慈禧太后贈送給李鴻章的兒子李經方，李經方轉贈給劉體智的。無為城這幢老房子前的玉蘭樹，也是來自慈禧太后的轉贈麼？沒有人知道。但可以肯定的是，這幢老房子是清末四川總督劉秉璋的故居。而劉秉璋，正是上海小校經閣主人劉晦之的父親。
從簡歷上看，劉秉璋是廬江縣磚橋鄉人，劉秉璋的後人也自稱廬江人。其實，劉氏明初由江西婺源遷居磚橋鄉時，廬江縣歸無為州管轄；明末劉氏遷居肥西縣的三河鎮時，三河鎮歸廬州府管轄。劉秉璋及其後人與無為的關係，要從1865年劉秉璋隨曾國藩、李鴻章剿滅捻軍說起。
1868年，劉秉璋回無為州伺奉母疾
1845年冬天，19歲的劉秉璋和好友潘鼎新偷偷離開三河老家，到北京遊學。1860年考中進士。1862年劉秉璋被李鴻章親自點名，讓其協助管理淮軍。1865年因“剿捻”有功，被任命為江蘇按察使。後因曾國藩剿匪不力，朝廷把“剿捻”的任務交給李鴻章，劉秉璋於是又重新回到李鴻章的麾下。
三年後，捻軍被基本剿滅，劉秉璋於是解甲歸田，在無為城東門閣上購得徐姓人家的一處房屋，修繕之後把父親和家人接來一起居住。
原籍廬江縣、長大於三河鎮的劉秉璋為什麼要遷居無為州呢？
一是無為地域是淮軍的勢力範圍，淮軍許多高級將領都在合肥、無為、含山、巢縣，以及蕪湖、金陵、上海等地購置大量房產，所以劉秉璋遷居無為，也方便與他的老戰友交往。特別是他的好友、淮軍將領潘鼎新當時居住在無為州。據說潘鼎新的潘公館位於現在無為城關新華書店一帶。二是劉氏祖先居住的磚橋鄉原來就屬於無為州，況且無為瀕臨長江，在水運相對重要的清末，地理位置當然比三河鎮好。
退居無為後，劉秉璋看到此屋原先有一塊“遠混天碧”的匾額，便以“遠碧樓”為藏書之所，把帶回的《古今圖書集成》等圖書放在樓上，把一百多方碑刻砌在自己的花園——澹園中收藏，日日吟詩作賦，天天觀賞名人碑帖，過著悠閒的生活。他在此還完成了《挽曾文正公國藩》聯：“天上大星沉，氣壯山河，身騎箕尾；人間紛雨泛，功在社稷，澤被生民。”
1872年，清廷招劉秉璋為江西布政使，後升任江西巡撫。1878年，因身在無為的母親身體欠佳，他辭官回到無為伺奉母親。1883年，中法關係緊張，清廷無帶兵之人，再次招劉秉璋出山任浙江巡撫，督辦浙江海防。1885年，劉秉璋率領浙江守軍擊退法軍水陸兩路的進攻，法軍艦隊司令孤拔負傷而亡。
1895年後，劉秉璋回無為州享受鄉居生活
1895年，清廷終於同意70歲的四川總督劉秉璋告老還鄉，這時正好暴發“成都教案”，已經乘船進入安徽境內的劉秉璋被招回協助新總督處理教民衝突。由於列強認為劉秉璋處置教案不力，遂被清廷“著行革職，永不敘用，以示懲儆”。他回到無為後，到1905年去世，出也沒有外出任職。
當時，無為州不僅生活著他的好朋友潘鼎新一家，他的弟弟劉秉鈞、二兒子劉體仁等也生活在無為州。劉秉璋的侄孫、劉秉鈞長孫劉麟生在《賓鴻館雜記》中這樣回憶劉家的老宅：“東門公館：我們的房子，在無為縣東門，為先祖介如公所手建。據先慈吳太夫人說，多半是程芹堂表伯設計。我們三房，大房住西門，二房住東門附近。我們的房子靠近東門，所以俗稱東門公館。房子並不大，也不小。中為寢室，東為花園，西為書房，後為廚房和養豬、養雞的地方。”這說明，當時劉秉璋一家都住在無為。
對劉秉璋居住的地方，劉麟生也有回憶：“東園，花園也不大，不過設計很整齊。一個院子一個過廳，廳室大約為小五開間，並未隔開。方廳前有金桂、銀桂等。後為一個大花壇，壇上有一件玲瓏太湖石。後為船廳，門西向，後面隔開為一小間，為圉人韓二的臥房。過去為秋葉池，池畔有一小亭，亭子內嵌有望雲樓殘石。池後又有一院，植梧桐二株等。過去為萬卷書樓，俗稱樓廳。樓上存書多凌亂，據先父錫之府君說，許多書是少良三伯（即劉秉鈞過繼給劉秉璋的兒子劉貽孫，字少良）的遺物。樓上有老狐出沒。圉人韓二一個人住在園中打更，膽量值得佩服。書樓後為芍藥壇，壇畔有一小閣，圓形，有樓無梯。取物時則以梯取下一承塵板。” 劉麟生還說：“文莊公的花園名怡園，不太大，園內嵌望雲帖石碑全部。”
文中的“東園”應該就是劉秉璋的家，俗稱劉公館；“文莊公”是劉秉璋的號，“望雲樓”當為“遠碧樓”之誤；“園內嵌望雲帖石碑全部”為劉秉璋當年把自己在江蘇巡撫任上搜集帶回無為州的石碑全部鑲嵌在花園裡，1949年以後這105方珍貴的碑刻由無為縣文物管理所收藏。
劉麟生在《賓鴻館雜記》裡還回憶了劉秉璋哥哥的兒子修治西園情況：“海大伯伯：大房的伯伯為海大伯伯。名字不詳，曾任天津關道。退休後，修治西園，為當地園林之冠。”這與無為民間傳說中的劉秉璋在無為城西門也有劉公館的說法是一致的。
劉秉璋退居無為，心情是高興的。這從他留下的詩裡可以看出。在《到家歡》裡他這樣寫道：“萬水千山喜到家，一門歡聚語喧譁。經霜楓葉烘斜日，遇雨芙蓉親晚霞。藥果茶鐺為活計，棋將曲譜是生涯。閒得淨土栽蘭蕙，芽茁根源待看花。”詩《秋暮登樓潛興》中他這樣寫道：“瓜牛廬小掩鬆關，磊塊消融俗慮刪。庚信園中魚極樂，陶潛宅裡鳥飛還。豪情俗促天邊月，倦眼聽看江上山。人詫是翁何矍鑠，頗疑丹訣駐童顏。”
退休後的劉秉璋，在無為著書立說，筆耕不輟，他的《澹園筆記》（二十二卷）、《靜軒筆記》等，應該就是這個時候寫的。
劉秉璋在無為的藏書
讀書和藏書，在劉秉璋的一生中始終佔據著重要地位。
劉秉璋藏書不僅在淮軍中有名氣，甚至連光緒皇帝都知道，並賜予《欽定剿滅粵匪方略》二十卷、《欽定剿平捻匪方略》三百二十卷、《詩全集》六卷、《文全集》三卷。這更增加了“遠碧樓”藏書的知名度。光緒中葉，與劉秉璋交好的長江水師提督黃翼升（作家張愛玲的外公）就曾多次提出借閱甚至抄閱劉秉璋家中的這些御賜藏書。
1895年之後，劉秉璋“遠碧樓”藏書已經達五萬卷。閒暇時，他整理藏書，自編《遠碧樓書目》十二卷，從此“遠碧樓”成為清末民初安徽省最大的個人藏書樓。
1898年戊戌變法之後，清廷招劉秉璋出山，一紙電報送到劉秉璋手上。之後，李鴻章也有電報傳來，催他早日進京，併為他安排進京後的行止。劉秉璋推說自己的舊疾復發，無法成行。清廷後又徵招，劉秉璋依然稱病辭謝。
1905年，劉秉璋剛過八十大壽便染病臥床，不久去世。其收藏的碑帖由二子劉體仁繼承，藏書由四子劉體智繼承。劉體智子承父業，把“遠碧樓”的藏書擴大到二十萬卷，重新編寫了《遠碧樓書目》，總數達三十二卷。
抗戰期間，張壽鏞、葉恭綽、鄭振鐸等人負責蒐集淪陷區的古書善本，無為“遠碧樓”部分圖書在此期間被收歸國有。又有部分圖書分散到民間收藏。現在，“遠碧樓”的圖書分別存放於上海、北京和安徽省無為縣等地。