李岳瑞的祖父李善容,曾官翰林院学士。祖母殷氏,祖上曾为广东陆路提督,父亲亦为翰林院庶吉士。李岳瑞的父亲李寅,与刘古愚、柏景伟为至交好友。李寅邀请刘古愚为家庭教师,教导儿子李岳瑞。李寅1878年病逝,年仅39岁。