Med hver bygning er der en fortid. Forud for genetableringen af Ellis Island øen var engang besat af indianske stammer kendt som Algonquin Stammen, som var beliggende i den nordøstlige region af Nordamerika. Det blev sagt, at den indianske stamme strømmede til øen, fordi øen var hjemsted for friske østers, skaldyr, fin fisk og stribet bas alle en kilde til fødevareforsyning. Øen fik senere navnet af den hollandske ,Oyster Island. Arkæologi stammer i 1985, da restaureringen fandt sted på Ellis Island, at ænder knogler, skildpadde knogler og hjorte knogler blev fundet giver forskerne en klarere idé om kosten fundet mellem Liberty og Ellis Island.

I 1624 oprettede Hollænderne en pelshandelsstation. I 1664 kom englænderne og omdøbte engang 'New Netherlands' til 'New York'. Inden for de næste hundrede år, ville øen gå gennem en række navne og i 1774 øen blev købt af Samuel Ellis. Efter Samuel Ellis død købte Staten New York øen, hvilket gjorde den officielt statsejet.