1870年，高島與伊藤博文及大隈重信等當時之政要會晤，並在會談上力陳東京 – 橫濱之間的火車通行之重要性，因而在之後受大隈之邀參與鐵路事業，並且一手包辦從計畫到實際施工的橫濱港部份地區的填海工程 ( 後來此地更名為”高島町”)。另外高島雖然也開設了由橫濱港到函館港之間的定期航線，但後來因入不敷出而在隔年中止。

同年，高島眼見德國的公司申請在於神奈川縣的瓦斯路燈敷設，擔心此一權益被外國所奪，因而與數名企業家組成”日本社中”(當時的有限公司，日本史上第一家有限公司為阪本龍馬所設立的”龜山社中”)，並標得瓦斯路燈之敷設權。亦聘請法籍技師來開設瓦斯工場；而在2年後(1872年10月31日)的黃昏，全日本的第一盞瓦斯路燈在橫濱的街道上亮起。此亦為日本之”瓦斯紀念日”的由來。除此之外，也利用瓦斯路燈開設了夜間小型劇場”港座”。

而在進行瓦斯路燈敷設的期間(1871年) , 高島也創立了語學中心的”藍謝堂”(通稱高島學校) 。但因為當時欲聘請的福澤諭吉無法前來教書，福澤便推派了海老名晋、荘田平五郎、小幡甚三郎等出身於慶應義塾(慶應大學前身)的得意門生來擔任講師。藍謝堂在此時期人才輩出，舉凡後來當過總理大臣的寺内正毅、本野一郎(後任駐法、比利時外交官)、宮部金吾(植物學家)等都是此校出身。另外同一時刻，高島也著手於下水道改建工程 ; 而由於辦學有成之功，其於1873年受明治天皇下賜三組銀杯。(惜藍語堂於1874年燒毀於火災)。