高遷的建村歷史可以追溯到南宋淳熙年間(1174-1189年)。那時(shí),安化知縣吳栝和他的弟弟從事郎吳椿從下礫徙居高遷,分別為高遷村東宅和西宅的始祖。吳栝和吳椿是吳全智十一世孫,在族譜上的世系屬仙居吳氏下宅。因此,高遷吳氏的故事,不得不從仙居吳氏講起。
仙居吳氏的始祖吳全智,字詰士,進(jìn)士及第,官至后梁銀青光祿大夫,世居麗水遂昌。唐昭宗光化二年(899年),吳全智徙居仙居下礫,成為仙居吳氏的始祖?;蛟S正是因?yàn)槭甲鎱侨菗碛休^高的文化地位和高度的文化自覺(jué),仙居吳氏家風(fēng)特重文教,形成了“甲第相承,簪纓相繼”的家族傳統(tǒng)。在這種傳統(tǒng)中,科舉出仕與文化傳承互為表里,共同維護(hù)著仙居吳氏的門第。