Bij elk gebouw is er een verleden. Voorafgaand aan de heroprichting van Ellis Island werd het eiland ooit bezet door indianenstammen die bekend staan als de Algonquin stam, die zich in het noordoosten van Noord-Amerika bevond. Er werd gezegd dat de indianenstam naar het eiland kwam omdat het eiland de thuisbasis was voor verse oesters, schelpdieren, vinvis en gestreepte zeebaars, allemaal een bron van voedselvoorziening. Het eiland kreeg later de naam van de Nederlanders, 'Oester Eiland'. Archeologie afkomstig uit 1985 toen de restauratie plaatsvond op Ellis Eiland dat eendenbeenderen, schildpaddenbeenderen en hertenbotten werden gevonden waardoor onderzoekers een duidelijker idee kregen van het dieet dat tussen Vrijheid en Ellis Eiland werd gevonden.

In 1624 richtten de Nederlanders een bontwerkstation op. In 1664 kwamen de Engelsen langs en herdoopten de eens 'New Netherlands' tot 'New York'. In de volgende honderd jaar zou het eiland een aantal namen krijgen en in 1774 werd het eiland gekocht door Samuel Ellis. Na de dood van Samuel Ellis kocht de staat New York het eiland, waardoor het officieel overheidseigendom werd.