Kaupstaðurinn dregur nafn sitt af vík sem er yst í Ísafjarðardjúpi. Víkin er ein elsta verstöð landsins og er stutt í góð fiskimið. Upp af víkinni liggja tveir grösugir dalir, Syðridalur og Tungudalur. Syðridalsvatn er í Syðridal og er þar nokkur veiði og eins í Ósá.
Framan af öldum var byggðin nær eingöngu í dölum og í Skálavík. Næst sjónum, á Bolungarvíkurmölum, var búseta hins vegar vertíðarbundin langt fram á 19. öld. Um síðustu aldamót fjölgaði íbúum mjög og þorp myndaðist við sjávarsíðuna. Þá reis ný kirkja, einnig barnaskóli, stúkuhús, vélsmiðja, bátasmíðaverkstæði, íshús og nokkur fiskverkunarhús. Verslanir voru stofnaðar, svo og sparisjóður og bókasafn. Á þessum tíma var mannlíf allt í miklum blóma og ýmis félagasamtök hófu starfsemi, m.a. stúka, kvenfélag, ungmennafélag, leikfélag og málfundafélag.
Eftir að bátarnir stækkuðu með vélvæðingu bátaflotans í upphafi aldarinnar hélt léleg lendingaraðstaða aftur af vexti þorpsins. Með bættri hafnaraðstöðu um miðja öldina varð uppsveifla og íbúum fjölgaði næstu áratugi. Bolungarvík komst í vegasamband við Ísafjörð árið 1950 með opnun vegarins um Óshlíð, sem var stórt framfaraskref.
Enn í dag eru sjósókn og fiskvinnsla aðal atvinnugreinarnar. Önnur störf eru flest í verslunar og þjónustugeirum.
Bolungarvíkurgöng voru opnuð 25. september 2010 og hafa reynst mikil samgöngubót en þá lagðist af vegurinn um Óshlíð.