严州古城北面有座水门，叫水戽门，从乌龙山流下来的山水，由水戽门经马贺桥流入东湖。清朝道光二十九年（1849）夏天，接连下了几天大雨，山洪瀑发，将水戽门冲得荡然无存，成为废墟。

当年冬季，严州知府陈泰来拨款重修水戽门。民工在清理水戽门地基时，挖到一尊石雕观音菩萨像。水戽门修复后，人们就在水门上建了一座寺，将挖到的观音菩萨像供奉在寺中，并给寺起名灵应寺。据说灵应寺里观音菩萨非常灵验，有求必应。从此，四方信众纷至沓来。

咸丰十一年（1861）六月十九日，太平天国侍王李世贤率领部下从兰溪直下严州城，灵应寺毁于这次战火。同治六年（1867）清军左营守备有个叫于连拨的人，捐款重建灵应寺，他委托当地有个叫陈廷松的人负责施工，城里城外四万余善男信女知道要重建灵应寺，也都纷纷解囊。

灵应寺重建后，还在寺后面的秀山上建了一座地藏殿，供奉地藏菩萨。当地有位学者叫胡大猷，为此写了首诗：

谈兵而后更谈禅，

历劫微尖舞大千。

艾炙眉头忘杀戒，

莲开舌底落言诠。

江平罗刹魔空扰，

山长菩提果欲圆。

不必祗园金布地，

屠刀放下便升天。

 

灵应寺名声一日盛似一日，吸引了四方僧人及信徒，然寺中无地方住宿，善修和尚又外出募化，将募化来的钱建了一座客堂。民国七年（1918），原严郡中学堂总理王韧等人设严社于此灵应寺。上世纪中叶，灵应寺被毁。拨乱反正后，灵应寺重建，香火依旧很盛。