Con cada edificio hay un pasado. Antes del restablecimiento de Ellis Island, la isla fue ocupada por tribus nativas americanas conocidas como la Tribu Algonquin, que se encontraba en la región noreste de América del Norte. Se decía que la tribu nativa americana acudía en masa a la isla porque en ella se encontraban ostras frescas, mariscos, peces de aleta y lubina rayada, todos ellos fuente de alimentación. La isla recibió más tarde el nombre de los holandeses, "Isla de las Ostras". La arqueología se originó en 1985, cuando se produjo la restauración en Ellis Island de los huesos de pato, tortuga y ciervo, lo que dio a los investigadores una idea más clara de la dieta encontrada entre Liberty y Ellis Island.

En 1624, los holandeses crearon una estación de comercio de pieles. En 1664, los ingleses llegaron y rebautizaron lo que una vez fue "Nueva Holanda" como "Nueva York". En los siguientes cien años, la isla pasaría por varios nombres y en 1774 la isla fue comprada por Samuel Ellis. Después de la muerte de Samuel Ellis, el Estado de Nueva York compró la isla haciéndola oficialmente propiedad del gobierno.