1876年高島雖然一時退休而隱居於大綱山莊(現在的橫濱市神奈川區高島台) ，但其仍在1887年以捐出1萬圓(當時的中等公務員一個月的薪資不到50圓 , 請自行推算)的代價受勳封為從五位勳四等(從五品，四等勳)。在那之後高島又開設了愛知水泥，及在1892年就任北海道炭礦鐵路公司之董事長。亦在石狩、十勝展開開拓殖民事業。此外，也擔任過東京市街鐵道股份有限公司的董事長。奇妙的是，高島也出資買入了當時由著名俠客(今日的角度來看應該算大流氓)的清水次郎長所開拓之富士裾野一帶的土地。

高島的家族構成上，雖有正妻的「Kura」但其正妻並未為他生下一子，高島的六位孩子都是與其妾的「Kim」所生。另外，高島的長子 – 高島長政是其弟德右衛門之三男所分過來的養子。

另外高島本人與明治新政府內的政要關係亦甚佳，特別與後來任總理大臣的伊藤博文有很深之交情：嘉右衛門甚至將長女玉子許配給伊藤博文的長男伊藤博邦。

(未完待續)