三萬年前的舊石器時代，就有人類在靈武縣城北的臨河水洞溝繁衍生息：距今五千年至七千年靈武縣城北部的三道溝、東部的鴛鴦湖等地生活著新石器時代的人群；夏商二代，靈武是土方、羌方的居地；西周時期靈武境內的部落謂之戎狄。
春秋時期秦國勢力逐漸發展到靈武地區，戰國時期靈武為秦國北地郡轄地，秦始皇統一六國，據有寧夏平原河東地區開始在此戍邊，秦推行郡縣制，今靈武屬北地郡富平縣（富平縣治在今吳忠市西南）轄地。
西漢惠帝四年（前191）治靈州縣；三國時期北方魏國有十二州，靈州屬于雍州管轄，東晉十六國時北方政權更替頻繁，靈州先為前趙、后趙，繼為前秦、后秦、大夏之地。
太延二年改靈州為薄骨律鎮，孝昌二年改薄骨律鎮為靈州，北魏分裂后靈州初屬東魏，后屬西魏。
太平三年東魏遷靈州至汾州置僑治靈州，大統六年，西魏在果園城建筑靈州城，治靈州。
北周取代西魏后靈州屬北周，西魏與北周時期靈州轄境當為今之銀川平原，北周設置靈州總管府，被稱為塞北江南是塞上江南之稱的來源。
隋朝大業元年，罷府為靈州，仍為寧夏平原最高政區機構。
隋大業三年靈州改為靈武郡。
唐初恢復靈州舊名，復置總管府。
武德七年，改都督府。
貞觀元年，靈州屬關內道，開元九年，靈州又置朔方節度使。
玄宗天寶元年，改靈州為靈武郡。
天寶十四年，太子李亨北赴靈武于7月12日在南門樓登基即位為肅宗，升靈武郡為大都督府。
五代十國時期五十余年，藩鎮割據，靈州、靈武郡始終為朔方軍節度使駐地。
宋初，政區設置沿襲后周制度為州縣二級制。
宋開寶二年（969），廢節度使存州，靈州領縣，其轄境約為今之寧夏平原。
宋咸平五年（1002），黨項首領李繼遷攻占靈州，于靈州置西平府為其王國都城。
寶元元年，李元昊正式立（西）夏國，遷都興慶府，靈州為西夏陪都置翔慶軍司。
元朝仍為靈州，先后屬西夏中興路，行省和寧夏府路。
洪武十六年，古靈州城被河水浸毀，于故城北七里處筑城，置靈州河口守御千戶所。
宣德三年（1428）城又被河水崩陷，復在相距舊城東北五里處筑新城，即今靈武市區所在處。
景泰三年增筑新城。
清雍正三年（1725），廢除衛所，改靈州千戶所為靈州直隸州，隸屬寧夏府。
同治十二年（1873），將靈州之南金積堡析出改設寧靈廳，直屬寧夏府。
1913年改靈州為靈武縣屬寧夏省。
新中國成立初，靈武縣屬寧夏省。
1950年吳忠堡析出設市。
1954年寧夏省撤銷并入甘肅省設河東回族自治區，后改為吳忠回族自治州，靈武縣屬之。
1958年成立寧夏回族自治區，靈武縣屬自治區管轄。
1972年歸銀南地區所轄，1996年5月國務院批準靈武撤縣設市，1997年12月將靈武納入寧夏經濟核心區范圍，2001年2月規劃為自治區能源化工基地，2002年10月由吳忠市移交銀川市。