上海老城廂的老北門與小北門之間有一條叫作“露香園路”的小路，它是以明朝上海著名私家花園——露香園得名的。由於露香園湮沒得太早，關於它的記錄確實有限。
清《同治上海縣誌·卷二十八·名跡上·第宅園林》中說：“露香園，在北城。顧名儒築萬竹山居。弟名世闢其東曠地，穿池得石，有‘露香池’三篆字，因以名園。”舊時的地方誌“輕古重今”，對歷史上已經消失的“名跡”記錄從簡，好在該志收錄了與園主同時代人朱察卿（字邦憲，號醉石居士）的《露香園記》，這也是對於露香園最原始、最詳細的記錄。
古人的文筆多誇張之詞，但是從這篇記文中還是能瞭解露香園之大概。明嘉靖年間（1522—1566年），上海的顧名儒任道州（今湖南道縣）太守，致仕後就在上海縣城的北城內造了私家花園，取名“萬竹山居”，他的弟弟顧名世在皇宮裡任“尚寶司丞”的官職，大概是負責皇帝玉璽的五品官，他也在哥哥的“萬竹山居”旁的空地興建花園，在挖池塘時，突然從地下挖出一塊上鐫“露香池”三個大字的石塊，還是元朝大書法家趙孟的字，元朝時趙孟擔任青龍鎮監，舉家居青龍鎮，有多次到上海的記錄，所以，這是趙孟的字的可靠性是很大的，但誰也弄不清，這是趙孟何時為誰家的花園題的額。
顧家視為吉兆和珍寶，就給自己的花園取名為“露香園”。 顧名世的兒子顧鬥英是秀才，但幾次考舉人均名落孫山，不過，他性格豪放，磊落不羈，有了祖上留下的露香園，經常賓明滿座，可惜，他僅三十七歲就逝世了。明末清初上海人葉夢珠《閱世編·卷十·居第二》中說： 露香園，在城西北隅，顧氏匯海（上引《同治上海縣誌》中稱“振海”，即顧名世子顧鬥英，不知是哪一本書弄錯了，還是“振海”與“匯海”均為顧鬥英的號）別業也。其尊人以科甲起家，匯海豪華成習，凡服食起居，必多方選勝，務在軼群，不同儕偶。園有嘉桃，不減王戎之李，糟蔬佐酒，有逾未下鹽豉。家姬刺繡，巧奪天工，座客彈箏，歌令雲遏……迄今越百餘年，露香之名，達於天下……匯海深德先大父，交最好。餘幼童時，先大父猶道及之。迨餘弱冠，匯海歿久，園垣俱廢，而亭榭山水，尚存什一。匯海嗣君伯露湛能文，餘猶及交也。順治丙申，伯露卒，無嗣，名園鞠為茂草。康熙初，移駐水師，有司度地，啟建營房，乃即其廢址，夷山堙谷，榷枯伐朽，縱橫築室，宛然壁壘矣。今兵歸海外舊伍，所建營房，又為瓦礫荊榛之地。
《閱世編》作者葉夢珠家族與露香園顧氏為世交，對顧氏家族與露香園是知根知底的，打顧鬥英英年早逝後，其家屬就衰敗了，在明末，葉夢珠尚年幼時還見過露香園，不過，園林損毀嚴重，“亭榭山水，尚存什”一，而到清順治丙申（1656年），顧家後嗣顧伯露也死了，他又沒有子女，露香園就徹底毀了。到了康熙初年，清廷為應付不斷入侵的南明王朝水師，就將露香園舊址建為水師兵營，而當南明王朝滅亡，水師又撤離此地，這裡又成了廢墟。
顧氏的露香園築成於明嘉靖三十八年（1559年）而到明隆慶六年（1572年）就被僧人建為庵，間隔僅十三年，而當時顧氏家族尚盛，顧鬥英還天天在露香園內大擺酒席，宴請賓客，這一可能性不強，估計，和尚們為了抬高自己的身價，推前了青蓮禪院的創始年代，還有一種可能，那就是顧家把原來“青蓮座”的地方無償捐給了佛教，佛教在這裡創建寺院。
青蓮禪院後又稱青蓮庵，是上海頗有點名氣的佛教寺院，解放初終止宗教活動，舊址被某工廠佔用，舊址為東青蓮街133號，也許，不久的將來，這裡就又成為上海老城廂的新的住宅小區。 黃冕，字南坡，湖南長沙人。清道光十五至十七（1835—1837年）任署理上海知縣。他在任時，又通過集資的方式將部分荒廢的露香園故址改造為花園，恢復了一些景點，還利用空地建了一個“義倉”，就是慈善機構堆放糧食的倉庫。
1840年鴉片戰爭爆發後，沿海的局勢緊張起來，上海也加緊備戰。《墨餘錄·卷二·滬城火藥局災》中說：“道光庚子（1840年），緣泰西諸國通商事，海疆駐兵防堵，假義倉作火藥局，積藥至四萬五千餘斤。”原來的義倉改為火藥倉庫，堆放了大量的火藥，也許，中國當時尚處於冷兵器時代，人們對火藥的威力認識不足，在管理上馬馬虎虎，1842年4月18日（農曆三月初八）傍晚，存放在這裡的火藥突然爆炸，看守的官兵十餘人當場炸死，附近百姓傷亡無數，《墨餘錄》中是這樣講的： 壬寅三月初八日申分，藥性陡發，轟霆一震，天地晦冥，咫尺莫辨。遙見濃煙如墨，高接雲間，而其地房舍盡為灰燼矣……秋水亭寄宿安徽兵數十名，震死十餘人，餘皆額破踵傷，無一完善；義倉北長生庵中有女尼六七人，驀聞震聲，驟奔戶外，瞥見庵屋數椽，盡已揭去，回顧同伴，尚少一人，神定後，入室呼尋，至廡下，恍惚得之，然已斃矣。一如黃渡鎮上，於初八更定時，空中擲落一人，面目模糊，不堪卒視，地鄰惶駭鳴官，得信始悉，蓋頃刻間飛擲已七十餘里…… 這次以火藥存放不當的爆炸案，可稱得上上海歷史上最大的爆炸案了。
這次爆炸後，這裡就成了一片空荒地，到了清宣統元年（1909年）上海計劃增開城門，就決定將這塊荒地作價出賣。這塊空地共65.9畝，將其中的57.2畝以每畝2 550元的價格賣給房地產商人，後來被建為民宅，餘下的8.7畝，部分建為公共菜場，這個菜場剛建成後不久，在1912年的拆城牆中拆除了。
不過，在今露香園路西有條叫“菜市街”的小路，它即以這個菜市場得名的。另一部分撥給剛成立的縣立萬竹小學（今上海市實驗小學）作為建造新校舍的土地。 露香園是上海明朝的私家花園，由於很早就荒廢了，其早已被人們遺忘了，不過，露香園有兩件事很出名，其一就是因內種植的水蜜桃是優良品種，其二則是露香園家人的繡品——顧繡。
《閱世編》中講露香園顧氏“家姬刺繡，巧奪天工”，《墨餘錄》中說：“相傳，顧氏刺繡，得自內院，其劈絲配色，別有祕傳，故能點染成文，作山水、人物、花鳥，無不精妙。尚寶公有曾孫女，適廩生張來，年才二十四而寡，有子方一歲，婦守節撫孤，出家傳針黹以營食，而其神化，更妙於前。顧繡之名，遂以大噪。”二書均未談及露香園顧繡創自何人，只是講顧名世的曾孫女擅長刺繡，她嫁給一位叫張來的讀書人，她二十四歲守寡，還有了一個孩子，為了養家餬口，才以繡品為生，使顧繡被人們知道。《同治上海縣誌》中講顧名世有一孫子叫顧壽潛，字旅仙，“性介不求聞達，董其昌賞其畫法，故尺幅片縑，人爭寶之。有《煙波叟詩草》”。而近人的著述中，又說顧名世孫子顧壽潛師從董其昌，其妻韓希孟，善刺繡，往往有丈夫作畫，妻子在畫上刺繡，所以，顧繡又稱“畫繡”。
總之，顧繡是一種極具特點的刺繡，始於上海露香園顧氏家族，後流傳外姓，此種繡品就稱之顧繡，未必一定出自露香園，而實際上，有不少非露香園的作品還超越了露香園顧繡的水平。
近代以後，上海“顧繡”就作為刺繡、絲繡的名稱使用，在舊照片中還能見到上海商店掛有市招，上書大大的“顧繡”二字，此只是一家繡品商店，所賣者不必一定是露香園顧繡或上海的繡品，而如今，“顧繡”一詞在方言中漸漸湮沒。