De trakk lodd om hvilke deler de skulle ha. Kort tid etter dette bygde Carl Adolph hus på den østre delen av Sandøy, og Ole Christian bygde huset på den vestlige siden. Her drev de gårdsbruk. Datteren til Carl, Hanne Paludine Cicilie (1843-1877) giftet seg med sønnen til Ole Christian Olsen - Severin Emil Conrad Olsen (1837-1883). De overtok Carl Adolphs hus og flyttet inn der. Carl Adolfs sønn, Leonard Wilhelmsen (1846 - 1885), giftet seg med Sophie Olivia (f. 1847), en av Ole Christian Olsens mange døtre - og som senere ble en driftig gårdbruker. Les Buktehuset.
Skipperen Severin Olsen døde på en reise over Atlanteren, da hadde han vært enkemann i seks år. Dermed overtok Severins bror Christen Olsen (1835-1909) huset, og barna til Severin ble boende hos Christen og hans kone Jakobine (f. 1831). Han hadde drevet skipsrederi i Bergen sammen med Eilert Olsen (matr.28) - begge drev senere med fiskeoppkjøp på Holmen. To år etter at Christen Olsen døde ble hus og eiendom solgt til Jakob Jølle (1868-1928). Jølle og hans familie bodde der i åtte år.
Det vestre huset var det Ole Christian sønn John Olsen (1844-1899) som overtok. Men han flyttet snart til Buktehuset, som var en del av hans arv. Laurits Olsen (1862-1941) overtok Sandøyhuset, han var sønn av Eilert og Lina Olsen i 'huset ved bruna' (matr 28). Kona hans, Anne Elisabeth Wilhelmsen (1875-1960) var sønnedatter til Carl Adolph - byggherren av huset på den andre siden av øya, og datterdatter av Ole Christian Olsen.
Hun var også oppvokst i Buktehuset.