杜牧一生懷才不遇，在政治上沒有大的作為，但他風流自賞，留下許多韻事。所以《唐才子傳》說他：“風情頗張，不能自遏。”
《本事詩》裡記載了一個故事。
大和九年（835年），杜牧任職洛陽，是分司東都的監察御史，官位頗為顯赫。兵部尚書司徒李願被罷掉了軍職，在洛陽閒居，他家的歌妓在當時號稱第一。李願常常在家中舉行豪華宴會，洛陽的官吏和名士，無不畢集。因為杜牧是監察御史，執掌法令，所以不敢請他。但這樣的盛會，又有美麗的歌妓，杜牧怎能錯過。聽說這天李家又要大開筵宴，他就派人去和李願說自己想要參加宴會。李願不得已，給杜牧送來了請柬。杜牧對花獨酌，已經喝得半醉，接到請柬，欣然前往。杜牧趕來時，酒宴正在進行，眾歌妓翩翩起舞，果然是色藝雙絕。杜牧獨坐一邊，看得如醉如痴，他滿飲三大杯酒後，問李願：“聽說有個姑娘叫紫雲，不知是哪一個？”李願就指給他看。杜牧對著這位紫雲姑娘呆呆地看了很久，忍不住說：“果然名不虛傳，能不能把她送給我？”李願附身大笑，眾歌妓聽到杜牧的話，也都回頭竊笑。杜牧又自飲了三杯，站起來朗聲吟誦了一首《兵部尚書席上作》：
華堂今日綺筵開，誰喚分司御史來？
忽發狂言驚滿座，兩行紅粉一時回。
吟完詩，杜牧“意氣閒逸，旁若無人”，一派名士風度。
《唐闕史》裡還記載了一個故事。
杜牧在宣州幕下任書記時，聽說湖州美女眾多，就來遊玩。湖州刺史崔君素久聞杜牧詩名，就非常熱情地款待他。崔君素把當地的名妓全部叫來，讓杜牧挑選。杜牧看了半天，卻說：“美是很美啊，但還是沒有看見讓我滿意的。”
遊玩了幾天之後，杜牧希望能在江邊舉行一次競渡活動，讓全湖州的人都來觀看，這樣或許就能夠找到看中的人了。崔君素就按照杜牧的意願，舉行了這樣一次競渡活動。那天，崔君素準備了一艘帶有戲樓的大船，張燈結綵，鼓樂齊奏，兩岸圍觀的人密密麻麻。杜牧乘船肆意搜尋，誰知挑了一天，直至傍晚，還是沒有一個合意的。眼看就要天黑了，正要收船靠岸，發現在人群中，有一位鄉下老婦人，領著一個女孩子，只有十幾歲，卻清麗可人。杜牧看了好一會，激動地說：“真是天姿國色啊！”就把這母女倆接到船上來談話。母女倆上了官船，驚慌失措，不敢說話。杜牧說想娶這位姑娘為妻，那位婦人覺得女孩年紀尚小，因而面露難色。杜牧不想為難她們，就說：“不是馬上就娶，只是訂下迎娶的日期。我留下聘書一封，十年內我一定要到湖州當刺史，到時再娶你家姑娘。如果我十年內不來，你家姑娘就嫁給他人吧。”並送了那對母女一箱的綾羅綢緞作為聘禮。老婦人點頭同意，收下聘書和聘禮後帶少女離去。
分別後，杜牧被調到京城就職，他一直想念著湖州，想念著這位女孩子。但宦海漂泊，總是身不由己，他接連出任黃州、池州和睦州刺史，都不是心意所在。直到好友周墀出任宰相，杜牧就接連寫了三封信，請求出任湖州刺史。大中四年（850年），四十一歲的杜牧終於獲得了湖州刺史的職位。
此時距離與當年那母女倆約定的時間，已經過去了十四年。到任後的第三天，杜牧就派人尋訪那對母女。很快，手下人回來告訴他，那個女孩已經在三年前嫁人了，並生了兩個兒子。杜牧傷心之餘，又派人請那對母女到衙門來，想問問是怎麼回事。這老婦人帶了外孫來見杜牧。杜牧責問說：“從前你已經答應把女兒許配給我，為什麼要違背諾言呢？”老婦人惶恐地說：“我女兒等了大人十年，到了第十一年才嫁人，三年內生了兩個兒子，並非不守諾言啊！”說著拿出當年杜牧親筆寫的聘書。杜牧覺得她說得有道理，送給她很多禮物，讓她走了。
為著這件傷心事，杜牧寫下一首《嘆花》詩：
自是尋春去較遲，不須惆悵怨芳時。
狂風落盡深紅色，綠葉成陰子滿枝。
詩中滿含了作者的惆悵和嘆恨。尋春看花去晚了，春盡花謝，錯過了美好的季節。明明在惆悵怨嗟，卻偏說“不須惆悵”，明明是痛惜懊悔之極，卻又只能自我安慰。紅花落盡，綠葉成陰，結子滿枝，當年的少女芳華已過，早已結婚生子，現在才知道，她和自己沒有緣分。
這首詩又題作《悵詩》，詩句也有不同：“自恨尋芳到已遲，往年曾見未開時。如今風擺花狼藉，綠葉成陰子滿枝。”