すべての建物には過去があります。エリス島が再設置される前、この島はかつて北米北東部に位置するアルゴンキン族として知られるアメリカ先住民族によって占拠されていました。島には新鮮な牡蠣、貝類、ヒレ魚、シマバスなどの食料源があったため、ネイティブアメリカン部族がこの島に群がってきたと言われています。この島は後にオランダ人によって「オイスターアイランド」という名前が付けられました。考古学的には、1985年にエリス島の修復が行われた時に、アヒルの骨、亀の骨、鹿の骨が発見され、研究者にリバティ島とエリス島の間で発見された食生活の明確なアイデアを与えています。

1624年、オランダ人は毛皮の取引所を設立しました。1664年、イギリス人がやってきて、かつての「ニュー・ネザーランド」を「ニューヨーク」に改名しました。その後の100年の間に、島はいくつかの名前を経て、1774年にサミュエル・エリスによって購入されました。サミュエル・エリスの死後、ニューヨーク州がこの島を購入し、正式に政府の所有となりました。