Her binada bir geçmiş vardır. Ellis Adası'nın yeniden kurulmasından önce ada bir zamanlar Kuzey Amerika'nın kuzeydoğu bölgesinde bulunan Algonquin Kabilesi olarak bilinen Kızılderili kabileleri tarafından işgal edildi. Ada taze istiridye, kabuklu deniz ürünleri, yüzgeçli balık ve çizgili bas tüm gıda kaynağı için ev olduğu için Kızılderili kabilesi adaya akın söyledi. Ada daha sonra Hollandalılar tarafından 'Oyster Adası' adını verdi. 1985'te Ellis Adası'nda yapılan restorasyonda ördek kemikleri, kaplumbağa kemikleri ve geyik kemiklerinin araştırmacılara Liberty ve Ellis Adası arasında bulunan diyet hakkında daha net bir fikir veren bir şey bulunduğu ortaya çıktı.

1624'te Hollandalılar bir kürk ticaret istasyonu kurdular. 1664'te İngilizler ortaya çıktı ve bir zamanlar "Yeni Hollanda" adını 'New York' olarak değiştirdiler. Sonraki yüz yıl içinde, ada bir dizi isim den geçecekti ve 1774 yılında ada Samuel Ellis tarafından satın alındı. Samuel Ellis'in ölümünden sonra, New York Eyaleti adayı satın aldı.