Budynek muzeum na pl. Rybaka został zbudowany w roku 1806 i jest najstarszym gmachem publicznym w Świnoujściu. Początkowo pełnił on rolę miejskiego ratusza, jednak w latach 20. XX wieku stał się dla lokalnych władz zbyt mały i właśnie wówczas po raz pierwszy wykorzystany został na placówkę muzealną. Dziś mieści się w nim Muzeum Rybołówstwa Morskiego, a sale ekspozycyjne wypełniają m.in. wystawy poświęcone historii miasta i tematyce morskiej.