据民国《建德县志·方外》记载，相传许逊曾在乌龙山炼丹修行。许逊，字敬之，后人称他为许真君，江西豫章（今江西南昌）人，东晋著名道士。太康元年（280），许逊担任旌阳（今四川德阳县）县令。后因朝廷纷乱，弃官回归故里，拜吴猛道长为师，得授真符。从此遨游江湖，镇蛟斩蛇，为民除害，声闻遐尔。

许逊云游建德乌龙山，见有一瀑布从二十余丈高的悬崖上倾泻而下，甚是壮观。其下有两石合而为门，称小天门。门下有澄溪潭，潭水清澈。许逊就在此结庐炼丹修道，养白鹿自娱。数年后，许逊返回故里前，将白鹿放归乌龙山。夜里常有群鹿在山中相聚，故有鹿砦坪之名。南宋绍兴五年（1135），僧道照四处募捐建澄溪道院。清朝嘉庆年间，道士蔡合龄重修，改为奉真道院，俗称祖师殿。至今崖壁洞穴上仍有“元阳洞”石刻。

乌龙山之巅还有一座道观，称为龙兴观。景定《严州续志·寺观》中说：“龙兴观，旧在仁安山之巅……”（仁安山即乌龙山，北宋宣和年间改）龙兴观中有个叫许法棱的道士，是建德本地人。唐代宗永泰年间（765—766），崇奉道教帛家道祖师帛和，他弃家到乌龙山龙兴观炼丹修道。大历十年（775），刘长卿被贬谪到睦州任司马，结庐碧涧（今碧溪坞）。他在睦州期间，与龙兴观许法棱道长结下不解之缘，情趣相投，赋诗酬唱。刘长卿在《寄龙山道士许法棱》中吟道：“悠悠白云里，独住青山客。林下昼焚香，桂花同寂寂。”

刘长卿羡慕许法棱道长超凡脱俗的生活，想起自己遭人陷害被贬谪的遭遇，心中不免惆怅。他在《望龙山怀道士许法棱》中吟道：“心惆怅，望龙山。云之际，鸟独还。悬崖绝壁几千丈，绿箩袅袤不可攀。龙山高，谁能践？灵原中，苍翠晚。岚烟瀑水如向人，终日迢迢空在眼。中有一披霓裳，诵经山顶飧琼浆。空林闲坐独焚香，真官列侍俨成行。朝入青霄礼玉堂，夜扫白云眠石床。桃花洞里居人满，桂树山中住日长，龙山高高遥相望。”

许法棱道长羽化升仙后，刘长卿感到寂寞迷茫，他在《寄许尊师》中吟道：“独上云梯入翠微，蒙蒙烟雪映岩扉。世人知在中峰里，遥礼青山恨不归。”可见刘长卿对许法棱道长的思念之情。

后来龙兴观年久失修坍塌而废。直到南宋淳佑十二年（1252）才得以重修。

斗转星移，岁月悠悠，清朝以后，朝廷对道教不太重视，道教整体衰微，乌龙山上的道观再度荒废，最终走向没落。