当朝廷一如往常要颁发紫衣敕许给寺院僧侣时,以心崇传在幕府授意下以该名僧侣出身不名为由,未得到朝廷同意便将那名僧侣流放,为此大德寺的住持泽庵宗彭十分不满,而与以心崇传抗辩,以心崇传一怒之下反以手中的权力将泽庵宗彭流放到出羽上山,之后以心崇传在宽永十年过世,享年六十四岁。
由于以心崇传以出家之身涉入政治过深,虽然展现了其精明强干的一面,但因为他手段之狠辣、用心之险刻,使他在历史上的风评极为不佳,庶民称呼他是“大欲山气根院僣上寺恶国师”,而被他流放到出羽上山的泽庵宗彭最也因为天海及柳生宗矩讲情,回到江户并得到三代将军家光的信赖,终其一生都指责以心崇传是“天魔外道”。