早在3000多年前，這里就是殷商之京畿，人口聚集，商業和手工業較為發達。
戰國時期，這里作為趙都的重要組成部分，是當時的冶鐵中心，許多膾炙人口的成語典故就源于這里。
秦漢以后，戰亂紛紛，綿綿千載，數度衰落，迨至民末，凋零益甚。
1945年10月，邯鄲解放。
中華人民共和國成立后，邯山區的行政區劃幾經更易。
1980年10月，邯山區建制，劃分為8個街道辦事處。
1983年5月，設立羅城頭街道辦事處。
1986年5月，郊區建制撤銷，馬頭鎮、馬莊鄉劃歸邯山區管轄。
1994年6月設立滏東街道辦事處。
1996年，邯山區面積37.1平方千米，人口約24.7萬人，轄10個街道辦事處、1個鎮、1個鄉，分別為渚河路街道、陵園路街道、光明路街道、貿西街道、貿東街道、浴新南街道、農林路街道、火磨街道、羅城頭街道、滏東街道和馬頭鎮、馬莊鄉。
區政府邯鄲市駐陵園路58號（位于晉冀魯豫烈士陵園西側）。
2000年第五次人口普查，邯山區常住總人口284540人，其中：火磨街道10878人，陵園路街道13391人，光明路街道14382人，滏東街道30801人，羅城頭街道58521人，渚河路街道37739人，浴新南街道23113人，農林路街道11787人，貿東街道16225人，貿西街道16616人，馬頭鎮33416人，馬莊鄉17671人。
2002年，邯山區面積37.58平方千米，人口約29.1萬人。
轄陵園、光明路、貿西、滏河、渚河路、貿東、羅城頭、農林路、浴新南、火磨10個街道，馬頭鎮和馬莊鄉，52個社區、23個行政村。
區政府駐陵園路58號。
2003年10月，馬頭鎮被馬頭生態工業城托管。
2006年3月，北張莊鎮由邯鄲縣整建制劃歸邯山區。
2014年2月16日，盛和路街道辦事正式掛牌成立。
2016年9月，邯鄲市進行部分行政區劃調整，原邯鄲縣河沙鎮鎮、南堡鄉、代召鄉劃歸邯山區管轄；磁縣高臾鎮、光祿鎮、辛莊營鄉、花官營鄉、臺城鄉劃歸邯山區，由冀南新區托管。