Aðalhvatamenn að stofnun safnsins voru Bjarni E. Magnússon sýslumaður, séra Brynjólfur Jónsson á Ofanleiti og J.P.T. Bryde kaupmaður. Var þetta fimmta lestrarfélagið sem stofnað var og var opið öllum almenningi, en var ekki einungis fyrir embættismenn.

Bókasafnið var staðsett í húsnæði Bjarna Landlyst fyrstu 9 árin, en þar var fyrsta fæðingastofnun á Íslandi stofnuð árið 1847. Landlyst er eitt elsta hús í Eyjum og stendur til að endurbyggja það. Fyrstu árin var bókakostur mjög fábreyttur, aðallega guðsorðabækur, rímur og fornsögur.
Fáar bækur voru til á íslensku, en mestur hluti safnsins var á dönsku. Vinna við safnið var unnin af áhugamönnum fram til ársins 1905, er það var gert að Sýslubókasafni og landssjóður veitti fé til safnsins.

Áður höfðu félagsmenn einungis greitt gjald til að standa undir bókakaupum og hafði það leitt til þess að safnið stóð oft ekki undir gjöldum. Húsnæðisekla háði safninu og árið 1917 var það flutt í eitt skiptið enní óinnréttaða vistarveru undir súð í Barnaskólannum. Aftur var safnið flutt til og nú niður í kjallara Barnaskólans, sem var kaldur og saggafullur. Útlán stöðvuðust að mestu vegna þess að starfsskilyrði voru að öllu leyti óviðunandi. Dæmi var um að menn brugðu sér inn um kjallaragluggann og afgreiddu sig sjálfir.

Árið 1918 fengu Vestmannaeyingar kaupstaðarréttindi og við það varð sýslubókasafnið að Bæjarbókasafni. Vegna lélegs húsnæðis drógust útlán saman og margar merkar bækur voru með þykkt myglulag og því nánast ónýtar. Safnið var endurreist á árinu 1924 að tilstuðlan Hallgríms Jónassonar kennara, en hann skrifaði grein í bæjarblaðið Skjöld og hvatti eindregið til opnunar. Kreppuárin komu harkalega niður á safninu því fjármagn drógst saman bæði frá bæjarsjóði og ríki. Á samdráttartímum, leitar almenningur í afþreyingu og þá aukast útlán á bókasöfnum, enda varð reyndin þannig þá. En bókaeign safnsins var einungis 2.200 bindi og þeir lánþegar sem höfðu veriðlengi í safninu fundu lítið sem ekkert við sitt hæfi. Sá yfirmaður sem starfað hefur lengst við safnið er Haraldur Guðnason. Hann hóf starf árið 1949 og hann hætti árið 1978. Þegar hann tók við safninu var bókaeignin 3000 bindi. Haraldur var mikil driffjöður fyrir safnið, hann kom á ýmsum breytingum sem eru enn í fullu gildi. Aðalbaráttumál hans var að koma ört stækkandi safni í viðunandi húsnæði og árið 1977 flutti safnið í nýbyggt húsnæði Safnahúss, sem hýsir Bókasafn, Byggðasafn, Listasafn, Ljósmyndasafn og Héraðsskjalasafn.

Þegar gosið hófst 23. janúar 1973 var safnið staðsett að Formannabraut 4, öðru nafni Kuði. Bókasafn Vestmannaeyja opnaði aftur í júlí 1973.

Bókaverðir frá 1862: