桃江古為楚地。
秦置益陽縣，屬長沙國。
漢屬荊州長沙國。
三國初屬長沙郡，后屬衡陽郡。
晉初屬荊州衡陽郡，后隸湘洲。
南朝宋屬湘洲衡陽內史。
南朝的齊、梁、陳時期屬荊州衡陽郡。
隋屬潭洲（后改長沙郡）。
唐屬江南西道潭洲長沙郡。
元元貞元年（1295），升縣為洲（無領縣），益陽縣即為益陽洲，屬湖南道天臨路。
明初降洲為縣，屬長沙府。
清代屬長寶道長沙府。
民國時期先屬湘江道，后屬湖南省第一、第五行政督察區。
1949年8月，益陽和平解放，益陽縣人民政府成立，屬益陽專區益陽縣。
1952年，從益陽縣析置桃江縣，縣人民政府駐桃江鎮。
1962年，屬益陽地區管轄。
1994年，益陽地區撤地建市，桃江縣屬益陽市管轄。