早在新石器時代，大余境內就有人類居住與活動。夏商周時代屬古揚州域。春秋戰國時，先屬楚，后屬吳，越滅吳后屬越國，楚滅越后復屬楚國。秦始皇統一中國后，分天下為三十六郡，大余屬九江郡，秦三十三年（前214年）置南野縣，大余屬之。
至西晉屬南野縣地。南北朝梁大寶元年（550）將縣地由南康郡轉屬廣東東衡州始興郡。陳?太建十三年（581）歸始興郡分置安遠郡。隋開皇十年（590）改安遠郡為大庾縣，隸屬廣州總管府始興郡，此為大余建縣之始。隋開皇十六年（596）廢始興郡，大庾縣亦由縣改為大庾鎮，復入虔州南康縣。唐神龍元年（705）復名大庾縣，隸屬江南西道虔州。此后，除領屬關系變化之外，大余建縣歷史不變。
宋淳化元年（990）在大余縣治地置南安軍，軍轄大庾、南康、上猶3縣，贛南開始形成南安與虔州（贛州）并列的兩個行政管理區域。元至元十四年（1277）改南安軍為南安路總管府，元至正二十五年（1365）改南安路為南安府，府治大庾，仍領3縣。明正德十二年（1517）南京右僉都御使王守仁任南贛巡撫，統領贛湘閩粵八府一州兵力，分十路鎮壓了以謝志山為首的農民起義軍，之后析上猶縣的崇義、上堡、雁湖3里，南康縣的隆平、尚德2里及大庾縣的義安、聶都、鉛廠3里建置崇義縣，歸南安府統轄。清沿明制，大庾縣屬南安府。
民國元年（1912）廢府存縣，大庾縣直屬江西省。1949年8月16日，中國人民解放軍四十八軍一四二師四二六團與贛南支隊、北江二支隊、贛南支隊崇庾大隊凌浪中隊、內良起義軍解放大庾。8月26日成立大庾縣人民政府，隸屬江西省贛州督察專員公署。9月11日成立中共大庾縣委員會。1957年5月1日，經國務院批準大庾縣改稱為大余縣，屬贛南行政公署。1999年7月撤銷贛州地區行署，成立地級贛州市，大余縣屬之。
