V roce 1778 Lin Ying-Yin z rodiny Lin (Číňané dávají příjmení na první místo, následuje větsinou dvou slabičné křestní jméno) přicestoval na Tchajwan z čínské provincie Fujian. Jeho syn Lin Ping-Hou následně začal svou kariéru a vypracoval se na úspěšného obchodníka s rýží. Během několika let získal velké bohatství a začal obchodovat i se solí. Dva z jeho pěti synů přejali jeho pracovní návyky a smysl pro expanzi a postavili tuto menší vesnici obklopenou vysokou zdí pro svoje rodiny. Kromě rodinných příslušníků zde žilo jejich služebnictvo, stráže a učitelé dětí. Cílené úsilí tří generací udělalo z rodiny Lin jednu z nejbohatších na Tchajwanu během vlády dynastie Qing a umožnilo vznik tohoto sídla a zahrad. Sídlo má celkem 82 pokojů.