李光耀祖居中翰第，位于大埔高陂黨溪村。“中翰第”，屬“下山虎”式客家民居建築，平房磚瓦結構，是李光耀的曾祖父李沐文于公元 1884年建造的，至今已有一百多年的曆史。現爲李光耀的堂弟李奮森一家看管。

據《李氏族譜》記載，唐溪村李氏的上祖是福建上杭縣稔田鄉李火德，其後裔李淳笃移居廣東程鄉（今梅縣），傳至13代李衍白公，後定居唐溪村，傳7子、49孫、120個曾孫，李光耀乃李衍白公傳下第9代孫。李光耀的曾祖父李沐文，1864年到新加坡謀生，後發迹成爲巨商，後來回鄉建造了“中翰第”。