1923 m. gegužės 15 d. buvo įsteigtas Centrinio valstybės knygyno Zarasų skyrius. Prasidėjo bibliotekos kūrimas.
Bibliotekos užuomazgą sudarė kelios iš dvarų atgabentos be savininkų likusios ir išplėštos bibliotekos. Prie jų buvo prijungtas nemažas Zarasuose veikusios kultūros švietimo draugijos „Akstinas” rinkinys, keliasdešimt knygų dovanojo patys zarasiečiai, be to buvo nupirkta 221 knyga iš švietimo ministerijos skirtų lėšų.
1925 metais Lietuvos Respublikos Prezidentas A.Stulginskis paskelbė Seimo 1925 m. lapkričio 27 d. priimtą Švietimo Ministerijos Ežerėnų skyriaus vedėjo etatą.
1923 – 1932 metais įsigyta 5200 knygų, iš jų lietuvių kalba 42 rusų kalba – 40 %, vokiečių kalba – 16 %, lenkų kalba – 2%. Prie skyriaus veikė skaitykla, kurioje kasmet vidutiniškai buvo prenumeruojami 38 – 45 periodiniai leidiniai.
Nuo 1936 metų rugsėjo 1 dienos knygyno Zarasų skyrius pavadintas Zarasų valstybine viešąja biblioteka.
Zarasų viešojoje bibliotekoje 1939 metais buvo 330 skaitytojų, 7 628 tomų knygų.
Antrojo pasaulinio karo pabaigoje gaisruose žuvo beveik viskas, kas buvo sukaupta bibliotekoje.
Pokario metais prasidėjo bibliotekos atkūrimas. Dalį knygų atnešė patys Zarasų miesto gyventojai. Zarasuose vėl pradėjo veikti biblioteka, kuri įsikūrė Pakalnės gatvėje Nr.1.
1949 m. Zarasų viešojoje bibliotekoje dirbo bibliotekos vedėjas ir bibliotekininkas. Biblioteka aptarnavo 497 skaitytojus, kuriems išdavė 5 335 knygas.
1950 m. Zarasų valstybinė viešoji biblioteka tapo rajonine biblioteka.
Tais pačiais 1950 metais bibliotekoje kilo gaisras. Žuvo beveik visas knygų fondas. Po gaisro biblioteka įsikūrė M. Melnikaitės gatvėje.
1953 m. biblioteka perkelta į kultūros namus.Zarasai (buvęs Novoaleksandrovskas)
1973 m. biblioteka įsikūrė buvusios gimnazijos patalpose D. Bukonto gatvėje Nr.20 (dabartinėse patalpose). Antras aukštas buvo skirtas suaugusiųjų skaitytojų ir vaikų aptarnavimui. Trečiame – administracija, metodikos, knygų katalogavimo ir tvarkymo skyrius, saugykla.
1974 m. Zarasų rajono biblioteka pradėjo dirbti centralizuotai. Ji tapo centrine biblioteka su 42 filialais.
1995 m. Zarasų rajono centrinė biblioteka pavadinta Zarasų rajono savivaldybės viešąja biblioteka su 22 filialais.
1998 m. Zarasų rajono savivaldybės viešosios bibliotekos tinkle – 23 filialai (1998 01 01 įjungtas Zarasų m. ligoninės filialas).
2003 m. Zarasų rajono savivaldybės viešosios bibliotekos tinkle – 22 filialai (2002 m. pabaigoje uždarytas Užtiltės kaimo filialas).
2006 m. Zarasų rajono savivaldybės viešosios bibliotekos filialai pervadinti teritoriniais padaliniais (Zarasų rajono savivaldybės Tarybos sprendimas 2006 m. spalio 20 d. Nr. T – 176).
2009 m. Zarasų rajono savivaldybės viešosios bibliotekos tinkle 19 teritorinių padalinių ir 2 knygų išdavimo punktai: Kimbartiškės ir Biržūnų.
Nuo 2010 m. Zarasų rajono savivaldybės viešosios bibliotekos tinkle 18 padalinių.
Nuo 2015 m. Zarasų rajono centralizuotoje bibliotekų sistemoje 17 padalinių.