遠古時代屬揚州區域，夏至周代為“七閩”地。
戰國時期屬閩越國轄地。
秦屬閩中郡。
漢代屬會稽郡（郡治在今蘇州）管轄。
三國時期為溫麻船屯，屬建安郡侯官縣。
晉泰始年間設溫麻鎮，晉太康三年（公元282年）首次置縣，稱溫麻縣，晉太康七年（公元286年），縣治在城東伏沙（今敖江鎮白沙村），隸屬晉安郡（郡治在今福州）。
建縣時，境域廣闊，從閩江口沿海一直到福鼎。
隋大業三年（公元607年），大量裁減郡縣，溫麻縣并入閩縣（今福州）。
但只過了16年，在唐武德六年（公元623年）又從閩縣析出，重置溫麻縣，同年改名連江縣。
從唐武德六年（公元623年）至清朝末期大都隸屬福州（府）。
重建連江縣初期，境域與晉溫麻縣相同。
長安二年（公元702年），析出東北4個鄉置長溪縣（相當于今寧德市地域，縣治在今霞浦）。
大中元年（公元847年），又析縣北1個鄉置羅源場。
此后，境域基本穩定。
唐天寶元年（公元742年），縣治從伏沙遷至今址，因城域形似展翅南飛的鳳凰，又名鳳城。
唐代設寧善、永福、太平、名聞、五賢5個鄉，轄20個里。
宋代增加2個鄉，共7個鄉，轄24個里。
元設5個鄉（轄21個里）、4個都。
明清時期沿襲舊制，只個別調整。
民國時期先后屬東路道和第一行政督察區，其中三度為福建省直轄縣。
1949年后，曾有3度（計18年）屬閩侯專區，2度（計16年）屬福安（寧德）專區（地區），1983年7月1日第二次歸屬福州市管轄。