Группа была основана в середине 80-х в Огайо, США под названием Purgatory. Изначальный состав группы был: гитаристы Джон Шаффер и Билл Оуэн, вокалист Джин Адам, басист Дэйв Эйбелл и ударник Грег Сеймур. Через некоторое время группа была вынуждена сменить название, обнаружив, что существует одноимённый коллектив. Поначалу Iced Earth сильно увлекались стилистикой фильмов ужасов, выступая в сценических костюмах, но вскоре покончили с эпатажем.
Вскоре после записи первого, одноимённого альбома, из группы был уволен её первый вокалист Адам, у которого от курения садился голос, после того как Джин отказался исправить положение и взять уроки вокала. Новым вокалистом стал Джон Грили, с которым группа записала альбом «Night of the Stormrider». Но во время тура по Европе отношения с новым вокалистом не заладились: Грили пытался забрать себе большую часть выручки, кроме того, оказался антисемитом.
Его сменил Мэтт Барлоу (экс-Cauldron), ставший постоянным участником Iced Earth. С Мэттом группа записала большую часть своих альбомов, в том числе концептуальные «The Dark Saga» — по комиксам о Спауне, и «Horror Show» — по мотивам фильмов и литературы ужасов. «Horror Show», кроме прочего, в 2001 году был лидером продаж в Греции. Кроме того, ранние песни были перезаписаны с новым вокалистом и выпущены на сборнике «Days of Purgatory». В 1998 году к группе присоединился молодой гитарист Ларри Тарновски, дебютировавший на альбоме «Something Wicked This Way Comes» (название альбома — цитата из «Макбета» Шекспира). Постоянным ударником, после многих замен, стал Ричард Кристи.
Под впечатлением от событий 11 сентября 2001 года Мэтт Барлоу неожиданно оставил музыкальную карьеру, чтобы стать офицером полиции. Четвёртым по счёту вокалистом Iced Earth стал опытный и известный Тим «Потрошитель» Оуэнс, ранее певший в Judas Priest. Новый альбом группы, «Glorious Burden», снова стал концептуальным. На сей раз темой альбома стали великие битвы и войны разных эпох, с американским патриотическим уклоном. Кульминацией альбома стали три песни, рассказывающие о трёх днях Геттисбергской Битвы, самого кровопролитного сражения Гражданской войны в США.
В 2006 году состав группы почти полностью обновился. В группу пришли гитарист Тим Миллс и басист Джеймс Уоллас, вернулся ударник Брент Смедли. В 2007 году Уоллас ушёл из группы по семейным обстоятельствам, его место занял Деннис Хейс. Группа намеревается выпустить два альбома, продолжающих «Something Wicked This Way Comes». Первая часть новой научно-фантастической дилогии концептуальных альбомов, Framing Armageddon, вышла в 2007 году. Сингл Ten Thousand Strong предварял альбом, на одноимённую песню был снят научно-фантастический клип с использованием компьютерной графики.
В конце 2007 года группа пережила очередную перетряску всего состава. Мэтт Барлоу объявил о своем возвращении на место Тима Оуэнса (который после этого ушёл в проект Ингви Мальмстина), Джон Шаффер прокомментировал это как «теперь Iced Earth по-настоящему вернулись». Также из группы был уволен басист Деннис Хейс, его место занял Фредди Видалес. В 2008 году был выпущен The Crucible of Man (Something Wicked Part 2) - первый студийный альбом с Барлоу после его возвращения и продолжение концептуальной дилогии. Однако в марте 2011 года Мэтт заявил об уходе из группы. Новым вокалистом стал Стю Блок, певец группы Into Eternity . Дебютом Стю Блока стал альбом, который получил название Dystopia, он вышел 17 октября 2011 года на лейбле Century Media.
