关于方山,在民间有很多脍炙人口的传说,且都与地方的历史文化有密切的联系。首先是与方山的开发有关的靖德寺的传说,据说有一位半人半神的游方禅师,姓吕名南,他为了寻找一块可供其修炼的福地,云游四方。一天,他到了苴却(永仁地方)北面的一座高山上。这座高山,就是紧靠金沙江,山顶形同桌面一样方方正正的方山。只见方山悬崖峭拔,古木参天,泉水泪泪,奇花异草如茵似锦,龟在这里安家,鹤在这里栖息,是一方佳境福地。吕南决心在这里建寺修行,但这
是高土司的地盘,须征得他的同意方可。 当吕南向高土司说明来意,土司深知方山乃“藏龙卧虎之地,龟鹤延寿之山”,不想让吕南在山中建寺,便故意刁难,要吕南给他治理山下狂风为建寺条件。因高土司在山下的大片妖风,每年成熟时都要被妖风卷走。吕南用道术镇住了妖风,又用金钵罩住了兴狂的乌龟精,最后把妖精变成了石乌龟。但高土司仍不愿让吕南在方山建寺,想用金银打发了事。吕南说:“金银我不要,只要一块宅基地。”高土司问要多少地可作宅基,吕南回答只要一袭袈裟大小即可。高土司终于同意。哪知吕南脱下袈裟,向空中抛去,顿时变成一朵彩云;彩云冉冉而下,罩住了整个方山。高土司后悔了,他要吕南继续跟他赌一场金针穿金币,想以此为难禅师。他派人把金币埋在一座寺庙的地基下三尺,要吕南以金针穿金钱之孔。吕南毫不费力地做到了。无话可说的高土司,只好将方山让与吕南建寺,这就是方山靖德寺来由的传说。