到了三木自纲的时代,三木自纲于永禄元年在天神山城外的高山上诛杀亲叔久赖以承继家督,之后联合另一国人众广濑氏攻灭天神山的高山氏、畑佐、中山、小鹰利等城,并讨伐锅山的锅山氏,为了彻底将飞驒一国收入控制,姊小路赖纲以强硬手段将锅山安室的亲生儿子流放由弟弟显纲成为锅山安室的养子,旋即将养父安室毒杀并夺取锅山家。统合南飞驒与中飞驒的广濑宗域、小岛时光、北飞驒的江马时盛并立。永禄五年,国司姊小路家绝嗣,三木自纲便开始在各种文献上改名姊小路赖纲,以国司古河姊小路家之名借尸还魂,将自己一统飞驒的野心合理化。