廣東省澳門島，有個商人叫仇端，經常漂洋出海到外國做生意。這一天他們的商船忽然遭遇颶風，船老大嚇臉色蒼白。正不知所措時，波濤巨浪中隱約出現了一座小島，船老大急忙駛向島邊泊船，得以脫險。
不久海上風浪平息，船老大等人撐篙弄槳弄得疲憊不堪，躺在船艙裡休息。仇端登上小島散步，看見島中枯樹極多，樹幹大約有十圍粗，樹上卻有很多洞，洞中住著很多小人。
小人有七八寸，也有美醜尊卑、老幼男女的區別，皮膚顏色就像栗子皮。每人身上配有小腰刀弓箭等武器，大小與人的身體相匹配。看到仇端在窺視，齊聲說：“嘈渠三咿唎。”
仇端想解手，就解開褲子蹲在地上，並對著石塊鑽火抽菸。忽然聽見人聲喧鬧，就像秋水池塘裡小鴨子一樣成群結隊而來。
仇端驚訝地觀看，只看到枯樹最多的地方有小城郭，城高大約到膝部，全用黑石砌成。城門打開，大概有一千多小人有序而出，搖旗吶喊，各樹孔中都有小人出來迎接，拱手服從號令。
小人中有個年輕的，戴束髮紫金冠，插兩根雉尾，面目端正，身穿銀鎖甲，騎著還未成熟的雛雞，指揮如意，口中喃喃不知說些什麼。接著聽到眾人一齊響亮應答道：“希利。”手執鋒利兵器向仇端相擁而來。
仇端大吃一驚，知道他們為驅趕自己而來。可是藐視他們生得矮小，不很害怕，依舊蹲在原地。年輕人又喃喃自語，仇端不予理睬，年輕人就號令大眾與仇端開戰。小箭、小戈小槍刀、矛鑽刺兩腿上，很痛。
仇端厭惡他們，用手中煙筒敲打著年輕人鬧著玩，沒想到一擊他就馬上翻身倒在雞背上，死了。眾人趕緊搶回屍身，把城門牢閉，剩下的都竄入樹孔中。仇端也再一次回到船上。
夜深人靜，沒有人煙的吵鬧聲，只聽得岸上小人大隊人馬蜂擁而來，拋擲泥沙而高呼道：“黎二師四吚唎。”直到天亮有了雞叫才寂靜無聲。仇端在枕上獨自思考，如能領取一兩個小人回故鄉，倒可以向俗人誇耀一番而賺錢。
次日大清早，仇端剛起來就假說去砍些柴禾，攜帶斧子與布袋來到昨日地方。才砍破一樹，樹洞裡小人很多，還有酣睡未醒的。仇端一一拾起而裝入布袋中，估計一家眷屬沒有一個漏網的。回到船上，偷偷用飯喂他們，他們也吃，而特別喜歡吃的是松子果品。
仇端正計劃著再去一次，可是岸上小人太多如恆河沙數，如蟻集蜂屯，口中喃喃自語像在辱罵，而且小箭如雨一樣向船射來。船上人害怕埋怨，都解開纜繩離去。
一個多月過後回到廣東，拿小人的事請教飽學名士，學士們都認為是僬僥國的矮人。問洋人，洋人說：“這東西能醃製成臘肉，它們的味道極為甘美。小人不會獨自行走，怕被海鷗銜去哩。”
仇端聽了特別高興，在集市上設置布帳幕，把小人放入盒子，四周鑲嵌上水晶玻璃片。觀看的人像是看西洋畫，仇端也因此賺到好多的錢。
有個鹽運使某公喜歡這些小人，授意鹽商，把這些小人用一千兩銀子從仇端手中買去。鹽商用紫檀木雕刻成小房屋，前後三進，兩旁是走廊。房屋中間還擺放著衣箱奩具、几案床幔等器物。當日就獻給鹽運使，鹽運非常珍惜它們，把它們當作一件價值連城的寶貝。
小人內部是年幼的尊貴，常常見到年老的向孩童彎腰打躬作揖。而且婦女的地位會比較重要，不時會看到鬚眉男子向巾幗女屈膝行禮。它們一晝夜睡三次覺，後來發現他們是把一日看作三日。
男女都在一處地方住宿，每次睡覺都要交歡，可是不許別人偷看，被人偷看了就會惱羞成怒，然後拔刀自刎而死。它們又最怕雷，聽到雷聲一定要把他們裝入甕中，深藏在地窖內。
小人被豢養久了，漸漸懂得人的禮節，懂得了人的意思，每次看到鹽運使所養的妖童豔妾，一定叩首行禮。如果見到龍鍾老長輩和道學先生，就躲藏在內不出外。他們喜歡穿著奢華豔麗服裝的人，見了必定舞刀弄槍獻出各種技藝。
如果看見穿破帽爛衫的人，一定會爭著搶著挺身而出，指著他大罵道：“蒜平吚唎。”本性又喜歡妒忌，稍微看見有些技能的人，必定要模仿學習他的本領，模仿不成，又要肆意開罵：“苛二烏三吚唎。”天性又喜歡多疑，對於人們竊竊耳語總會小心提防。
可是又怕人們高談闊論或大聲疾呼，每次一聽響亮的聲音，必然要惱怒大罵：“飯平飯平師二吚唎。”鹽運使特別憐惜小人，於是就阻止家人對著小人說話，如果開口說話，鹽運使一定會代小人罵家人，用這取悅小人，因而小人更加蠻橫。
鹽運使叮囑工藝像生店給小人制作小紗帽、玉帶袍笏、小兜鍪、鎧甲兵器等，小人都爭相穿上，跪拜叩頭像官員樣子，或大搖大擺裝出學者樣子。漸漸指導小人學著串戲，小人天性又非常靈巧伶俐，還沒幾天就能演出五六折戲，只是舞蹈雖剛剛合格而歌唱卻辨不出是什麼腔調。
有時鹽運使又給小人銅錢，拿到銅錢就愛不釋手，口咬腳踩但銅錢不能碎裂，就又裝作嚶嚶啼哭的樣子。僕人偶爾吵罵開玩笑又互相撲打的，小人看到後，手舞足蹈又樂不可支。
由此知道小人喜歡人們打打鬧鬧。小人有時情緒悲傷思念島嶼，鹽運使總要命令僕人撲打吵罵，來博取小人歡心。
鹽運使對小人們非常貼心，又替他們製作小匾額懸掛在木盒上，匾額上寫“罔談彼短”或寫“猶傲蟭螟”。親自制作小楹聯懸掛盒門上，楹聯道：“槐幫能遊，芥舟可渡；壺天不遠，橘隱非誣。”
小人見了，也知道向鹽運使鞠躬致謝。一年多後，鹽運使深知小人已很溫順，就為他們打開盒面玻璃門，小人有時會跳出盒子而在文房四寶周圍遊玩。
有一天鹽運使有要事到別處去一下，紅頂花翎帽被遺忘在書桌上。小人看到後覺得很高興，摘下帽頂，然後兩人把帽子當球踢來踢去。接著又摘下孔雀翎毛，兩人扛著，打掃書桌上的灰塵像用掃帚一樣。
正嬉笑間，鹽運使回來了，小人爭著搶著丟棄紅頂花翎而逃。紅頂墜在地下被摔碎，花翎落入火盆燒盡，可是鹽運使非但不生氣，反而看著他們哈哈大笑。
第二天，朋友的兒子衣冠楚楚前來拜望鹽運使，偶爾來到書房遊覽，正撞見小人在書桌上又蹦又跳又叫。他不知這是什麼東西，大為驚訝，不覺狂呼道：“怪哉！”
再看看小人如同人一樣的動作，兩個已經當場驚嚇而死，其餘都趕緊潛藏入盒中，惡狠狠罵道：“嬌三尼二師二吚唎。”鹽運使從此深深記恨這個朋友的兒子，不再理睬他。