Группа была создана гитаристом Франком Борнеманном, который является единственным постоянным членом группы с момента её основания. Первоначальный состав коллектива: Манфред Вижорке (вокал, клавишные), Хельмут Драхт (ударные), Эрих Шривер (гитара, бас, вокал) и Вольфганг Стокер (бас)
В 1970 году выходит первый сингл группы. В 1971 году Eloy выпускает дебютный одноимённый альбом, характеризующийся психоделическим звучанием и социальными текстами. Почти сразу после выхода альбома группу покинул Эрих Шривер, являвшийся автором всех песен с социальной тематикой. На место Шривера приходит Фриц Рандов. Следующий диск Inside кардинально отличается от предыдущего альбома, поскольку группа полностью переориентируется на новый стиль - прогрессивный рок. Следующие два альбома «Floating» и «Power and the Passion» приносят группе широкую популярность в Германии и Европе. В 1975 в группе наметился серьёзный раскол: часть музыкантов хотела начать изменить стиль звучания на спейс-рок, другая же желала оставить все как есть и исполнять прогрессив. В связи с этим команда на время распалась.
В 1976 Борнеманн решает снова возродить Eloy. В группу были приглашены новые музыканты: Клаус-Питер Мациол (бас, вокал), Детлев Шмидтхен (клавишные, вокал) и Йорген Розенталь (ударные, вокал). Новым составом были созданы альбомы, ставшие классическими: «Dawn» и «Ocean». Через несколько лет Шмидтхен и Розенталь покинули Eloy чтобы заняться сольной карьерой, и на их место пришли Ханнес Фолберт и Джим Макгилвери. Также в составе появился гитарист Ханнес Аркона. В 1980 году обновленный коллектив выпустил новый альбом «Colours», который отличался от остальных несколько более тяжёлым звучанием. Последующие альбомы были объединены научно-фантастической тематикой, темой Космоса. Для их звучания характерно доминирование клавишных в аранжировках. После выхода альбома «Metromania» и ряда прощальных концертов, среди которых был и концерт в знаменитом лондонском клубе Marquee (его в качестве зрителей посетили участники группы Marillion), проект распадается вследствие музыкальных разногласий.
В 1988 году Борнеманн снова возобновил деятельность Eloy, и на этот раз был приглашен только один музыкант: Михель Герлах. Вдвоём они выпускают два альбома: «Ra», напоминающий по звучанию «Colours», и спустя четыре года - «Destination». C 1993 по 1994 год Борнеманн и Герлах при поддержке бывших участников Eloy перезаписывают классические композиции группы для сборников "Chronicles". В 1994 году вышел новый студийный альбом «The Tides Return Forever». В 1998 году к группе присоединился ударник Бодо Шопф, и в том же году выходит альбом «Ocean 2», который получил позитивный отклик у слушателей. Его звучание напоминало о периоде расцвета творчества коллектива. В ноябре 2009 года группа вернулась к слушателям с новым студийным альбомом «Visionary». Альбом по звучанию напоминал работы группы периода 80-90-х годов и получил сдержанные, но в целом позитивные оценки слушателей. В 2011 году выпущен двойной DVD "The Legacy Box", где впервые представлены все сохранившиеся видеосъемки коллектива. В 2011 году группа возобновила концертную деятельность.
Франк Борнеманн начал работу над рок-оперой "The Vision, the Sword and the Pyre" о Жанне д’Арк и готовит к переизданию ремикшированные и доработанные версии альбомов "Ra", "The Tides Return Forever" и "Destination".
Несмотря на национальную принадлежность, группа зачастую не относится критиками к краут-року, так как по своему стилю и звучанию на раннем этапе и в период расцвета больше похожа на британскую Pink Floyd, нежели на немецкие краут-рок коллективы.
Несмотря на популярность за пределами ФРГ, группа за всю свою историю так и не приобрела широкой известности в Соединённых Штатах.
