呼和浩特,蒙古语意为“青城”,其中“呼和”为青色的意思,“浩特”为城市、城郭的意思。因中心城区北依大青山,故得名。呼和浩特这个名称最早出现在蒙古文的《俺答汗传》中,书中记载:“大名扬天下的圣主俺答汗(即阿勒坦汗),在水公猴年(藏历,即明朝隆庆六年,1572年),召集举世无双的巧工名匠,模仿已失去的大都,在哈剌兀那之阳、哈屯河之滨,始建有八座楼和琉璃金银殿的雄壮美丽的呼和浩特。”“哈剌兀那”,蒙古语为黑山,明清著作中又称作“哈朗兀”、“喀朗乌”、“漠喀喇”等,即今大青山。“哈屯河”,为呼市西北乌素图谷汇流而下的五里沙河,即《绥远通志稿》中之“札达海河”。《俺答汗传》中的呼和浩特之称,是迄今为止所见最早的记载。
呼和浩特中心城区本是由归化城与绥远城两座城市在清末民国合并而成,故旧称归绥。1954年4月25日起,归绥市改名为呼和浩特市,为内蒙古自治区的首府。