在民間傳說中，紀曉嵐的形象風流倜儻，一表人材。他一生詼諧、滑稽，機敏多變，才華出眾，給後世留下許多趣話，素有“風流才子”和“幽默大師”之稱。
紀曉嵐一生娶了一妻六妾，原配姓馬，比紀曉嵐大3歲，是他17歲時娶的。為他操辦婚事的，是他同父異母的哥
哥紀晴湖。這位忠厚的長兄，比紀曉嵐大18歲，對紀曉嵐的照顧十分周到。他為紀曉嵐娶媳婦，不惜花費數百金。而他自己嫁女兒，只准備了些衣服首飾當嫁妝。這是紀曉嵐終生念念不忘的。
紀曉嵐妻妾眾多，紀晴湖雖然自己一生只娶一房妻子，卻對弟弟納妾一事很寬容。他說：“納妾符合禮法。如果強行禁止，一定會弄出不合禮法的事情來。”馬伕人與紀曉嵐相敬如賓，白頭偕老，紀曉嵐72歲那年她才去世。紀曉嵐在《閱微草堂筆記》中對馬伕人提到過兩次，第一次是說她很喜歡自己的一個小妾：“故馬伕人終愛之如嬌女。”第二次出場，馬伕人已是婆母身份，“馬伕人稱其（二兒媳）工、容、言、德皆全備。”紀曉嵐惜墨如金，兩次提到馬伕人，一共20多個字。
對自己寵愛的小妾，紀曉嵐卻不惜筆墨。郭彩符是她的愛妾之一，紀曉嵐在《槐西雜誌》中用300餘字記述說，自己被貶新疆時，郭已經病重，到關帝廟求了一支籤，知道還能等到紀回來，但病卻痊癒無望。果然，紀曉嵐回來不久，郭氏就去世了。郭氏死後，家裡整理她的遺物，紀曉嵐睹物生情，寫了兩首詩：“風花還點舊羅衣，惆悵酴釄（音‘塗迷’）片片飛。”“百折湘裙臺畫欄，臨風還憶步珊珊。”頗見真情。
紀曉嵐對另一小妾沈明玕著墨最多，寫了700多字。沈氏曾經說過，“女子應該在40歲之前就死去，這樣人們還會憐惜她。”紀曉嵐在《閱微草堂筆記》中收錄了沈氏一首小詩：“三十年來夢一場，遺容手付女收藏。他時話我生平事，認取姑蘇沈五娘。”沈氏果然30多歲就去世了。紀曉嵐說，沈氏臨終前，一縷芳魂還跑到他“侍值圓明園”的住處探望了他。沈氏死後，紀曉嵐在她的遺像上題詩道：“春夢無痕時一瞥，最關情處在依稀。”
這些妻妾為紀曉嵐生了4個兒子。其中，長子紀汝佶十分聰明，21歲就中了舉人。但紀曉嵐被髮配新疆後，紀汝佶變得精神頹廢，整天和一些詩友廝混。紀曉嵐的一個學生朱子穎把紀汝佶帶到泰安散心，沒想到紀汝佶偶然見到《聊齋志異》的抄本，更是無心科舉，埋頭創作專講狐仙鬼怪的筆記小說，讓紀曉嵐失望之極。紀汝佶25歲鬱郁而亡，病危之時家人按風俗給他燒了一個紙馬，紀汝佶突然睜開眼叫道：“我的馬怎麼瘸了一條腿？”家人大驚失色，原來，他們燒紙馬時，不小心把馬蹄給弄花了。紀曉嵐記述此事時，對兒子的靈性頗有幾分憐惜。但是紀曉嵐也因兒子之故，對《聊齋志異》很有惡感，在《閱微草堂筆記》中多次批評。
紀曉嵐次子紀汝傳當過江西南昌、九江等府通判。三子紀汝似曾捐廣東候補東莞縣丞。四子紀汝億，事蹟已不可考。清嘉慶十年(1805年)，紀曉嵐死於京城，享年82歲。嘉慶帝曾親往祭奠，並諡“文達”。但紀曉嵐死後，家道也就中落了。
紀曉嵐頗好色，一日要臨幸女子數人、一日至少要行房五次，清晨、上午、中午、黃昏、睡前定各要一次。其他偶發事件，還不計算。紀曉嵐如一日無女色則“膚欲裂，筋欲抽”。編輯《四庫全書》時數日單身當值，竟然“兩睛暴赤，顴紅如火”。乾隆帝見而大驚詢問，紀曉嵐就實話實說，皇帝大笑，遂賜兩位宮女“伴宿”。
有學者認為紀昀“試圖用這種肉體的狂歡”，“藉以消磨豪情，轉移自己內心的壓抑和痛苦”。