平凉市是一座历史古城,是古长安西进北上的要冲。又依六盘三关之险,历来是兵家必争之地。建制变革较大。境内先后发现的130余处仰韶、齐家文化遗址说明,早在新石器时代,即距今4000余年前,这里已有人类定居。秦永兴二年(公元前358年)秦符坚欲进攻前凉,于高平镇设平凉郡,取平定凉国之意,平凉由此而得名。
夏赫连定曾继皇帝位于平凉。北周武帝建德元年(公元572年)于今市境的西半部设平凉县,是平凉县建制的开始,距今1420余年。1949年7月28日平凉解放,设立平凉县。1950年划出城关和郊区另设平凉市。1958年12月撤销平凉、华亭2县并入平凉市。