Kwa kila jengo kuna wakati uliopita. Kabla ya kuanzishwa upya kwa Ellis Island kisiwa hicho mara moja ulichukua na makabila ya asili ya Marekani inayojulikana kama kabila la Algonquin ambalo lilikuwa katika mkoa wa Kaskazini Mashariki mwa Amerika ya Kusini. Ni alisema kuwa kabila asili ya Marekani walikusanyika kwa kisiwa kwa sababu kisiwa ni nyumbani kwa oysters safi, samakigamba, fin samaki na striped bass wote chanzo cha chakula. Kisiwa baadaye alipewa jina na Kiholanzi, ' Oyster Island '. Archeology kupatikana mwaka 1985 wakati marejesho yalitokea kwenye kisiwa cha Ellis kwamba bata mifupa, mifupa ya kasa na mifupa ya kulungu iligundua kutoa watafiti wazo wazi la chakula kilichopatikana kati ya uhuru na Ellis Island.

Katika 1624, Kiholanzi umba kituo cha biashara ya manyoya. Katika 1664, Kiingereza alikuja pamoja na jina lake moja ' mpya Uholanzi ' na ' New York. ' Ndani ya miaka 100 ijayo, kisiwa hicho kwenda kupitia idadi ya majina na katika 1774 kisiwa alikuwa kununuliwa na Samuel Ellis. Baada ya kifo cha Samuel Ellis, New York, inanunua kisiwa hicho na kuifanya serikali rasmi inayomilikiwa.