每一座建筑都有一个过去。在埃利斯岛重新建立之前,这个岛曾经被美国原住民部落占领,被称为Algonquin部落,位于北美东北部地区。据说,美洲原住民部落涌入该岛,因为岛上有新鲜的牡蛎、贝类、有鳍鱼、带鱼、鲈鱼等食物来源,所以才会蜂拥而至。该岛后来被荷兰人命名为 "牡蛎岛"。1985年在埃利斯岛进行修复的时候,考古学家们发现了鸭骨、龟骨和鹿骨,使研究人员对自由岛和埃利斯岛之间的饮食有了更清晰的认识。

1624年,荷兰人建立了一个毛皮贸易站。1664年,英国人出现,将曾经的 "新荷兰 "改名为 "纽约"。在接下来的一百年内,该岛经历了许多名字,并在1774年被塞缪尔-埃利斯买下。塞缪尔-埃利斯死后,纽约州买下了这个岛,使之成为正式的政府所有。