早在新石器時(shí)代，大余境內(nèi)就有人類居住與活動(dòng)。夏商周時(shí)代屬古揚(yáng)州域。春秋戰(zhàn)國(guó)時(shí)，先屬楚，后屬吳，越滅吳后屬越國(guó)，楚滅越后復(fù)屬楚國(guó)。秦始皇統(tǒng)一中國(guó)后，分天下為三十六郡，大余屬九江郡，秦三十三年（前214年）置南野縣，大余屬之。

至西晉屬南野縣地。南北朝梁大寶元年（550）將縣地由南康郡轉(zhuǎn)屬?gòu)V東東衡州始興郡。陳?太建十三年（581）歸始興郡分置安遠(yuǎn)郡。隋開皇十年（590）改安遠(yuǎn)郡為大庾縣，隸屬?gòu)V州總管府始興郡，此為大余建縣之始。隋開皇十六年（596）廢始興郡，大庾縣亦由縣改為大庾鎮(zhèn)，復(fù)入虔州南康縣。唐神龍?jiān)辏?05）復(fù)名大庾縣，隸屬江南西道虔州。此后，除領(lǐng)屬關(guān)系變化之外，大余建縣歷史不變。

宋淳化元年（990）在大余縣治地置南安軍，軍轄大庾、南康、上猶3縣，贛南開始形成南安與虔州（贛州）并列的兩個(gè)行政管理區(qū)域。元至元十四年（1277）改南安軍為南安路總管府，元至正二十五年（1365）改南安路為南安府，府治大庾，仍領(lǐng)3縣。明正德十二年（1517）南京右僉都御使王守仁任南贛巡撫，統(tǒng)領(lǐng)贛湘閩粵八府一州兵力，分十路鎮(zhèn)壓了以謝志山為首的農(nóng)民起義軍，之后析上猶縣的崇義、上堡、雁湖3里，南康縣的隆平、尚德2里及大庾縣的義安、聶都、鉛廠3里建置崇義縣，歸南安府統(tǒng)轄。清沿明制，大庾縣屬南安府。

民國(guó)元年（1912）廢府存縣，大庾縣直屬江西省。1949年8月16日，中國(guó)人民解放軍四十八軍一四二師四二六團(tuán)與贛南支隊(duì)、北江二支隊(duì)、贛南支隊(duì)崇庾大隊(duì)凌浪中隊(duì)、內(nèi)良起義軍解放大庾。8月26日成立大庾縣人民政府，隸屬江西省贛州督察專員公署。9月11日成立中共大庾縣委員會(huì)。1957年5月1日，經(jīng)國(guó)務(wù)院批準(zhǔn)大庾縣改稱為大余縣，屬贛南行政公署。1999年7月撤銷贛州地區(qū)行署，成立地級(jí)贛州市，大余縣屬之。