观音阁还一直流传着一段神话般的故事。据当地的老人介绍,古时候的观音阁,因为龙蟠矶上有两个凹口,所以能够随着江水涨落,就仿佛是长在水面上一样。而这两个凹口传说是“神鳖”的两只眼睛,一只吐油一只吐盐,为寺中的人解决吃饭问题,但寺中有一个道人因为贪得无厌把两个凹口挖坏了,从此再也没有油盐吐出。