就在高島他經濟困窘之時，他藉由佐賀藩家老(各藩的第二把交椅,以今日之政府機關來講可說等同行政院長 , 但不見得僅一人)田中善右衛門的斡旋，得以在於1859年在於橫濱開設了專賣伊萬里燒(瓷器的一種)及白蠟的”肥前屋”。當時肥前屋以外國人為生意對象，利用日本國內及國外的匯率差異，賣出多量的黃金來賺取白銀，著實的大賺了一筆 ; 但此法當時為幕府所禁止因而遭到幕府的追緝，而高島他則在潛逃了一段時間之後決心自首，而在於1860年~1865年間入獄。在出獄後高島再度改名為今日易卦界內無人不知的”嘉右衛門”。

出獄後，因為受到幕府當局令其無法繼續留在江戶，高島便轉往離江戶頗近的橫濱發展。在當地租店重新開始其販賣木材的事業，並且透過美國公使的協助，使其能受英國公使巴夏禮之委託負責公使館的建設，也因此契機而使高島獲得許多外國人的委託。

1867年，高島藉於當時橫濱並無能接待政要高官及外國人的旅館，因而在尾上町開設了旅館「高島屋」(與高島屋百貨並無相關) ; 也利用此處做為其與政要高官等建立人脈的社交場所。正逢此時，過去曾經使高島困窘一時的盛岡藩，因為抵抗大政奉還的新政府軍之故受到當局的經濟懲罰，使得該藩必須向高島借貸70萬兩(換算為今日之日幣則約2100億!)。雖然當時橫濱等地亦受糧荒之苦，但高島本人僅以一句「此乃至誠奉公之大義」而爽快答應，也因此解救了盛岡藩及該藩之領民。