明朝宣德年間，滄州當地有位潘姓秀才，單名一個班字，長得英俊瀟灑，狂放不羈。他琴棋書畫無所不精，尤擅於作畫，自號殘葉居士。
網絡配圖
某年夏天，他要求到友人一偏僻書齋借宿作畫，友人說那裡以前有奇怪之事，不肯借他。潘班不以為意，友人攔他不住，也就任他去了。他到那裡後，發現書齋依茂林修竹而建，環境幽靜，實乃讀書作畫之絕佳地，佈置得又典雅精緻，正中牆壁上掛一幅美女捕蝶古圖，圖中女子云鬢花顏，肌膚勝雪，嬌憨之態讓他十分痴迷，一連數日沉迷於臨摹此圖。
這一日晚，潘班點好燭臺，研好磨鋪好紙，正準備再次臨摹此圖，突然聽到壁上有輕聲細語傳來：君今晚無人相陪，我當出陪之。潘班大駭，猛一抬頭，發現牆上畫中美女已然不見，他正驚恐不安之際，見一素衣女子正款款而來，待到近前，果然如畫中女子無二。女子對潘班施禮到：見君如此眷顧我的畫像，唯有以此身相陪作報，望君休要嫌棄。
潘班大驚失色，但他終是驚恐不安，連連拒絕。女子說：公子既然愛慕我，卻又拒我，難道是嫌棄我殘花敗柳之身嗎？潘班連稱不是，並說愛慕姑娘在於心，而非貪圖一時之歡。那女子見此，也不再勉強，只是稍微嘆息，便消失不見。
網絡配圖
潘班惶恐不安度過一宿，第二天大早就簡作收拾，趕回友人處。他向友人描述了此事，友人並沒過於驚奇，反而一拍大腿說：你還好潔身自愛，否則大禍臨頭了。潘班忙問為何，友人嘆息一聲，緩緩講了一事。
早些年，滄州有名為“煙春樓”的妓院，內有頭牌女子，名叫素娘，生得嬌媚動人，琴棋書畫樣樣精通，真可謂色藝俱佳，原本也是賣藝不賣身，專待有緣郎。後來，有一相貌堂堂的富家公子為其贖身，並許必娶她為妻。
素娘欣喜不已，以為找到有情郎，兩人住在一起，也算恩愛了一陣子，他們所住之所正是那書齋。不久，那富家公子漸漸膩煩，藉故離去後，再也不歸，素娘痛恨公子無情無義，卻又無可奈何，最終鬱鬱而終，只留下來一幅自畫像。
網絡配圖
素娘死後，書齋因環境幽靜，多有年輕書生在此潛修，傳說先後有兩人就遇到類似怪事，卻難以抗拒美色，做了那不齒之事。後來，兩人中一個奇怪落水而亡，一個卻瘋瘋癲癲至今。後面書齋就很少有人居住，歷經數人之手，碾轉到不知情的潘班友人手中，他雖然也聽說此事，但並未親身經歷，雖不很相信，但也很少去那書齋。這次，潘班遇到此事，證明那些傳說並非子虛烏有之事，友人堅決勸告潘班休要再去了。
潘班知道此事後，反而不再驚懼，他依舊偷偷返回書齋，而第二天，有人見他背一畫，悄然離去。自此書齋再未聽說出現過怪事。
多年後，有人在滄州見過潘班，他依然孑然一身，還是那麼英俊瀟灑，狂放不羈，只是始終揹著一幅畫，別人並不知畫裡是什麼。