1937 m. švietimo ministro įsakymu Joniškyje įsteigta viešoji valstybinė biblioteka su skaitykla. Biblioteka įsikūrė dviejuose A. Smetonos (dabar Livonijos) g. namo Nr. 15 A kambariuose. Nelengvi pirmųjų bibliotekos įkurtuvių rūpesčiai turint 600 knygų fondą, 2 neremontuotus kambarius, 3 stalus, 2 lentynas teko pirmajai vedėjai Valentinai Ivanovaitei. Nežiūrint įkurtuvių sunkumų ir vėlesnių laikmečių kaitos išbandymų Viešosios bibliotekos atidarymas tiek kultūrine, tiek švietėjiška prasme buvo reikšmingas miesto istorijos faktas.
1940 m. biblioteka perkeliama į kitas suremontuotas patalpas Vilniaus g., arčiau miesto centro. Antrojo pasaulinio karo metais biblioteka ilgą laiką buvo uždaryta. Daug knygų dingo, labai mažai gauta naujos literatūros.
Pokario metais bibliotekai nebuvo tinkamų patalpų, trūko būtiniausio inventoriaus, kvalifikuotų darbuotojų. Pradedamos steigti kaimo bibliotekos, kurioms viešoji biblioteka teikė metodinę pagalbą.
1950 m. Joniškis tampa rajono centru,1951 m. viešoji biblioteka – rajonine, atliekanti rajono bibliotekų centro funkcijas. 1956 m. į rajoninę biblioteką atvyko dirbti pirmoji specialistė – Janina Irena Bernotaitė – Rudokienė. Ji pradėjo rūpintis bibliotekos estetiniu vaizdu, rajono valdžiai nuolat kėlė problemą dėl ankštų ir bibliotekai netinkamų patalpų.
Per visus veiklos metus biblioteka kraustėsi net 6 kartus, kol pradėjo kurtis dabartinėse patalpose Vilniaus g. 3.
1976 m. visos rajono bibliotekos sujungtos į centralizuotą bibliotekų sistemą, rajoninė biblioteka tampa centrine su 40 filialų kaime ir 1 Žagarės mieste.
Atkūrus Lietuvoje nepriklausomybę, pokyčiai palietė visas šalies bibliotekas. Sumažėjo Joniškio rajono centrinės bibliotekos filialų skaičius, keitėsi aprūpinimo spaudiniais situacija, paslaugų apimtys ir skaitytojų poreikiai, tačiau biblioteka išliko: vieniems – poilsio ir atgaivos vieta, kitiems – svarbios ir reikalingos informacijos šaltinis.
Pagal 1995-08-02 Kultūros ministro įsakymą nuo 1996 m. liepos 1 d. centrinė biblioteka tapo rajono savivaldybės viešąja biblioteka ir įgijo finansinį savarankiškumą. Palaipsniui plečiamos ir atnaujinamos Viešosios bibliotekos patalpos tame pačiame pastate. 1996 m. duris atvėrė nauja skaitykla, 1998 m. į naujas patalpas persikėlė Vaikų literatūros skyrius.
2001 m. rajono viešoji biblioteka už kraštotyros veiklą apdovanota Mato Slančiausko premija.
2001-ieji metai susiję su naujų informacijos technologijų diegimo pradžia, kai Viešoji biblioteka gavo paramą ir pradėjo įgyvendinti Atviros Lietuvos Fondo paremtą projektą „Infolinija besimokančiai miesto jaunuomenei“. 2001 m. iš Kultūros ministerijos programos „Visuomenės informacinis aprūpinimas“ biblioteka gavo interneto ryšį, kompiuterių ir atidaro interneto skaityklą. Tais pačiais metais Viešoji biblioteka priimta į LIBIS (Lietuvos integralią bibliotekų informacijos sistemą), įdiegtas komplektavimo ir katalogavimo posistemis, nuo 2002 m. kuriamas elektroninis katalogas.
2004 m. gegužės mėnesį Viešajai bibliotekai suteiktas kraštiečio rašytojo Jono Avyžiaus vardas. Biblioteka rūpinasi Jono Avyžiaus atminimo įamžinimu gimtinėje, bibliotekoje įkurta rašytojo memorialinė ekspozicija.
Bibliotekos struktūrą sudaro 5 skyriai: Dokumentų komplektavimo ir tvarkymo, Skaitytojų aptarnavimo, Informacijos ir kraštotyros, Vaikų literatūros, Ūkio ir bendrasis, 17 filialų kaime ir 1 Žagarės mieste.