乾隆微服出訪江南。這天時近黃昏，來到距京城百里之遙的良鄉，主僕一行走進臨街一家只有五間平房的王家小客店。店主王掌櫃迎上前來，他臉大口方，滿臉堆笑，對乾隆噓寒問暖，照料得很是精心。
乾隆喜歡聊天，當夜他拉著王掌櫃閒聊，兩人天南海北，竟聊得十分投機。第二天乾隆離開時，王掌櫃再三叮囑：“客人若再走此路，切莫過門不入！”乾隆感其盛情，點頭允諾。
幾年後，乾隆再次微服出訪，途中又經過良鄉。乾隆想起當年的承諾，便憑著記憶去找王家客店，豈料小店已蹤影全無。臨街舊地蓋起了一排幾十間門面房，招牌上寫著“王家雜貨鋪”“王家綢緞莊”“王家大客棧”……車水馬龍，好不熱鬧。乾隆派侍衛尋訪才知道，原來王掌櫃建造耳房挖地基時，挖到了一罐金元寶，平地發跡起來。
乾隆來到“王家大客棧”，見到了王掌櫃，只見他紅光滿面，一身綢緞，正所謂“財大氣粗”。寒暄過後，王掌櫃為乾隆擺酒洗塵。
酒過三巡，王掌櫃爽朗笑道：“客人此番路過，想不到王家字號已鱗次櫛比了吧？”
乾隆聽他語氣中頗有幾分得意，故意逗他說：“這是天賜老兄富貴，小弟只有羨慕的份兒啊！”
王掌櫃眉梢一揚，說：“我與老弟有緣，老弟出發前，我定要送你一件禮物，想要什麼，只要世上有這玩意兒，你只管開口！”
乾隆聽了心中暗笑：俗話說“富貴莫過帝王家”，這小小掌櫃，挖到一罐金子，不足掛齒之富，竟狂言妄語到如此地步！想到此，乾隆假意稱謝：“多謝盛意！容小弟慢慢想來。”
散席後，乾隆心中一直盤算著什麼玩意兒不值錢，但又能懲治一下王掌櫃的狂言妄語呢？
事也湊巧，乾隆信步來到村頭，見路旁有一塊蒼潤欲滴的巨石。他覺得這塊巨石很眼熟，似乎在哪裡見過，但一時又想不起來。他繞著巨石轉圈，只見它既有巍峨峻峭的雄姿，也有玲瓏剔透的小巧；既有層巒疊嶂、嶙峋崢嶸的奇觀，也有渾然天成、若人若獸的妙趣。乾隆一邊觀賞，一邊在記憶裡搜尋這塊巨石的出處。他想來想去，突然用手拍了一下前額，脫口而出道：“想起來了，這是米萬鐘的石頭！”
原來這塊巨石，是明朝官員米萬鍾從房山運到良鄉的。米萬鍾愛石成癖，他在房山發現這塊奇石後，想把它運到自己在海淀營建的花園——勺園內，以點綴風光。為了運這巨石，米萬鍾費了無數工力，最後財力耗盡，不得不把石頭棄置於良鄉路旁。當時人們就稱這塊石頭為“敗家石”。
乾隆曾在書上讀到過這個故事，此時，他一面觀賞這塊巨石，一面在心裡暗暗地打定了主意。
第二天，王掌櫃為乾隆餞行，席間又提起了贈送禮物之事。乾隆慢吞吞地說：“老哥盛意難卻，銘感於心！但只怕我說了，會讓老哥為難……”王掌櫃信口道：“世上的東西任你相討，老哥我無不應諾！”乾隆乘勢道：“小弟看中了村頭路旁那塊大石頭，但苦於無力北運。”
王掌櫃一聽，不禁仰面笑道：“我還以為是討什麼‘金馬駒’‘聚寶盆’呢，原來是要塊大石頭！好吧，一年之內，我一定運到京城府上。”
乾隆忙道：“大丈夫一言既出，駟馬難追！”王掌櫃提高嗓門回道：“大丈夫言而無信，何以立足於天下！”
乾隆走後，王掌櫃便張羅人馬運石。他先僱了十幾號人運，一天工夫，巨石紋絲未動；又增至二十多人運，一天也只能移動幾步；後來增至五十多人運，一天就只軲轆了幾個滾兒。這一天天軲轆下去，人吃馬嚼，才半年光景，王掌櫃的家當就都“軲轆”了進去，最後不得不停運。
停運後，王掌櫃思來想去，覺得不能失信於人，便決定去京城找乾隆賠罪解釋。從良鄉到京城路途不近，還沒有走到一半，王掌櫃所帶的銀兩花光了，無奈之下，他只能沿途乞討。
這天，王掌櫃終於來到京城，他按著乾隆留下的地址找去，到了地方，一下子蒙了，這哪裡是什麼富家宅子，分明是皇家殿宇紫禁城！當他看到城門口站著的氣勢威嚴的御林軍，一下子暈倒了。也不知過了多久，王掌櫃醒了，睜開眼睛一瞧，發現自己竟然躺在富麗堂皇的寢宮裡，他有點不敢相信自己的眼睛，還以為在做夢。
“老哥，好久不見！”一個熟悉的聲音從身後傳來，王掌櫃順著聲音望去，只見乾隆身著龍袍，面帶笑容走過來。王掌櫃嚇得翻身下床，雙膝下跪道：“皇上，恕我口出狂言，那石頭我派人運了多少天才挪動了幾里路，怕失信於人，我是特地前來請罪的。”
乾隆也是個性情中人，早已得知事情的真相，他上前攙扶起王掌櫃，說：“你信守承諾，何罪之有？朕還要賞你個官兒做做呢！”王掌櫃聞言，感激涕零，連忙拜謝。
後來，乾隆自己派人馬，採用冬季潑水造冰道的辦法，把這塊巨石運回了京城。
乾隆很喜愛這塊巨石，御題“青芝岫”三字，命玉工恭鐫於巨石之上，並將巨石置於清漪園樂壽堂院內。