早在康熙四十年,也就是公元一七○一年,有位禅师远从大陆福建渡海来台,只为成就一圆满的因缘:在此岛播一佛种子。禅师来台之后,凭着特有的灵感,直接来到了南台湾,且在山明水秀,林木婆娑的赤山龙湖岩驻锡,此禅师日日念弥陀,日日不忘寻山遍野,盼修觅至一处立命之所在。皇天不负苦心人,于半年后,在一偶然的机会,踏遍大仙寺现址白河镇的仙草里,只见此山相貌奇异,隐隐中透着一份灵秀之气,福至心灵,立刻决定在此结庐为居,并请祀龙湖边观音佛祖的香火,虔诚的修行,日久信徒增加,香火日盛,在因缘聚成之下,筹资兴建寺庙,即为今日的大仙寺,而这位禅师就是开山祖师参彻老禅师。
关于独乐寺寺名的由来有三种说法。其一,因观音塑像内部支架是一棵参天而立的大杜梨树,以“杜梨”的谐音而取名;其二,佛家清心寡欲,恪守戒律,独以普度众生为乐,故名独乐寺;其三,独乐寺为安禄山起兵叛唐誓师之地。独乐之名,亦安禄山所命,盖安禄山思独乐而不与民同乐,故而命名。而最后一种说法流传最为广泛。
据碑刻记载,早在宋代大理国统治此地时期,这里是一片茂密的森林,常见一只鹿出没其间。一天,有人逐鹿至林中,鹿忽不知去向,只有一异人前来,指着森林对众人说:“鹿居此久矣,汝辈为何取它?”言毕,亦复不见。众人皆惊诧,以为遇到神人仙鹿,便立小庙,绘塑神像以祀。许愿求神者认为灵验,香火日盛。