1944 m. įkurtas Alytaus apskrities archyvas (toliau - archyvas). Jam vadovavo A. Žemba. Po 1950 m. įvykusios administracinės teritorinės reformos archyvas pavadintas Alytaus rajono valstybiniu archyvu, o nuo 1954 m. tapo pavaldus Alytaus rajono vykdomajam komitetui. Nuo 1956 m. archyvui vadovavo Vlada Bernatavičiūtė. Nuo 1964 m. sausio 1 d. panaikintas Alytaus rajono valstybinis archyvas ir įkurtas Lietuvos TSR Centrinio valstybinio archyvo Alytaus filialas, kuris buvo pavaldus Archyvų valdybai prie Lietuvos TSR Ministrų tarybos. Nuo 1969 m. filialui vadovavo Bronislovas Vonsavičius. Nuo 1973 m. - Janina Kraveckienė. Nuo 1987 m. iki 1995 m. Alytaus archyvo direktorė buvo Romualda Jakučionienė. Nuo 1995 m. liepos 26 d. archyvui vadovauja Zenė Bernatavičienė.

Archyvo pavadinimai po Lietuvos Nepriklausomybės atkūrimo:

1990-07-25 - 1993-05-28 Alytaus valstybinis archyvas

1993-05-28 - 1997-03-07 Alytaus apygardos archyvas

Nuo 1997-03-07  Alytaus apskrities archyvas

Nuo 2017-01-01 Kauno regioninio valstybės archyvo Alytaus filialas