Jan Olaus Olsen (1827-1905) giftet seg ytterligere to ganger: I 1866 med Emilie Goline Christensen (f.1830) som vokste opp nederst i Sjøbakken (matrikkel 35). Hun døde i 1872,  42 år gammel. De fikk fire barn sammen, hvorav tre av dem døde som småbarn. Sønnen Martin (f. 1867) vokste imidlertid opp, og overtok etterhvert barndomshjemmet.   Anne Christine Nilsdtr (f.1852) fra Eikvåg var den neste han giftet seg med. Det var i 1875. Hun var på det tidspunktet 23 år, brudgommen var 48 år gammel.  Anne Christine døde samme året, seks dager etter at hun hadde født en sønn -  og gutten døde like etter. 

Nok en gang giftet han seg: Det var i 1880 - med Bertha Tønnessen (ca.1850-1897) fra det nærmeste nabohuset (matr. 37) like bak hans eget barndomshjem. De fikk fire barn sammen. Den eldste døde to år gammel,  den andre døde før han fylte ett år,  den tredje døde i en alder av 9 år. Ett av deres barn vokste imidlertid opp - hun het Bergly Talette (f. 1887) og utvandret til Amerika. Kona Bertha døde i 1896. 

Jan Olaus Olsen overlevde altså fire koner,  han fikk ti barn, men det var kun to av disse barna som vokste opp.