Com cada edifício há um passado. Antes do restabelecimento da Ilha Ellis, a ilha já foi ocupada por tribos indígenas americanas conhecidas como a Tribo Algonquin, que estava localizada na região nordeste da América do Norte. Dizia-se que a tribo indígena americana se aglomerava na ilha porque a ilha era o lar de ostras frescas, mariscos, peixes de barbatana e robalo listrado, todos eles uma fonte de abastecimento alimentar. A ilha recebeu mais tarde o nome dos holandeses, "Ilha das Ostras". A arqueologia foi obtida em 1985, quando a restauração ocorreu na Ilha Ellis, que ossos de pato, de tartaruga e de veado foram encontrados dando aos pesquisadores uma idéia mais clara da dieta encontrada entre Liberty e Ellis Island.

Em 1624, os holandeses criaram uma estação de comércio de peles. Em 1664, os ingleses vieram e renomearam a outrora 'Nova Holanda' para 'Nova Iorque'. Nos cem anos seguintes, a ilha passaria por uma série de nomes e em 1774 a ilha foi comprada por Samuel Ellis. Após a morte de Samuel Ellis, o Estado de Nova Iorque comprou a ilha, tornando-a oficialmente propriedade do governo.