不肯去觀音院，位於紫竹林，紫竹林是觀音修道的地方，裡面有全山建寺最早的地方不肯去觀音院。在潮音洞旁，有一堵黃色矮牆圍著三間質樸的佛堂，佛堂中終年香菸繚繞，這就是不肯去觀音院，可乘坐1號線到“紫竹林”下車。不肯去觀音院於1980年得以重建。
據歷代山志記載，大中十三年，日本僧人慧鍔從五臺山奉觀世音菩薩像回國，船經普陀山洋麵受阻，以為菩薩不願東去，便靠岸留下佛像，由張姓居民供奉，稱為“不肯去觀音院”，是為普陀開山供佛之始。
紫竹林庵位於百步沙南潮音洞西上。山門正對波光瀲灩的蓮花洋，東南與洛迦山隔海相望。
宋代，這裡始建「觀音巖寺」，後圯。明正德年間，因寶陀寺久毀，僧淡齋恢復大寺，又在嘉靖倭亂中盡毀。萬曆末建聽潮庵，崇禎年改名潮音洞庵。民國八年（1919）修建，康有為題庵額「補紫竹林」。
踏進紫竹林長廊，朝山禮佛的香客就會聽見蓮花洋的梵唄。人的生命之旅就是不斷的參悟，好像穿越這條長長的廊道，前面是海闊天空，後面是忘言青山，我的心靈日出落在哪裡？費思量！
紫竹林庵圓通寶殿供奉的漢白玉紫竹觀音坐像，，兩邊柱聯雲：「上同諸佛，斷惑證真現卅二應身；下合眾生」，尋聲救苦施十四無畏。
紫竹林庵圓通寶殿供奉的漢白玉紫竹觀音坐像，，兩邊柱聯雲：「上同諸佛，斷惑證真現卅二應身；下合眾生」，尋聲救苦施十四無畏。
惠鍔，唐代東瀛留學僧。他曾先後三次入唐求法。鹹通四年（863），惠鍔從五臺山中臺精舍請得觀音坐像回國，舟過蓮花洋濤怒風飛，觸新羅礁，漂至潮音洞附近。與新羅商人一起將觀音像請到潮音洞上，誅茅縛寮，敬置聖像。山民張氏舍宅供奉觀音像，俗呼「不肯去觀音」。後梁貞明二年（916）在張氏宅址建「不肯去觀音院」。這段「佛選名山」的故事成為中日文化交流的佳話，也是普陀山成為觀音道場發祥年代的重要史實。
唐鹹通四年（863）日本僧人惠鍔第三次入唐求法，朝禮五臺山時至中臺精舍，見觀音妙相莊嚴，懇請迎歸日本，寺裡高僧從之。惠鍔負聖像航行到昌國馬秦山（今舟山朱家尖石牛港口），忽狂風惡浪，海上冒出無數鐵蓮花，阻舟前行，觸新羅礁。惠鍔下跪祈禱:「若尊像不願東渡，當從所向建造精藍」。此時，見蓮花洋出來一青牛，大口吞吃鐵蓮花，舟漂至潮音洞停泊。惠鍔夜得一夢，第二天告之船上眾人，大家認為一定是觀音菩薩不願東去所以託夢，於是一起搬聖像上岸，並搭建茅寮留置，祈拜後上船。山民張氏舍所居之宅供奉，俗呼「不肯去觀音」。後梁貞明二年（916）在張氏故址建「不肯去觀音」，後改名寶陀觀音寺，即今普濟禪寺。因此，「不肯去觀音」入山，被視作普陀山觀音道場的發祥2。007年，普陀山佛教協會將殿院改建成仿唐式結構，在其西側築「日本三十三觀音靈場」長廊。
仿唐代風格改建的「不肯去觀音」院2002年竣工落成，在其西側築「日本三十三觀音靈場」長廊。此為來自日本三十三座供奉觀音寺庵的主尊。
紫竹林庵前的香火銅鼎基座上，銘鑄一條蟠龍。到紫竹林、不肯去觀音禪院、潮音洞的香遊客，經過銅鼎都要摸摸這條龍。據說，從頭到尾摸這條龍，人的一生就能命運亨通，平安順達。
