Под названием Avatar группа была основана в 1978 году во Флориде тремя подростками: братьями Джоном (вокал) и Крисом (гитара) Олива, и присоединившимся к ним ударником Стивом Вахольцем. Первое выступление музыканты дали на заднем дворе дома Олива. В 1981 году состав пополнился басистом Китом Коллинзом (до этого на бас-гитаре играл вокалист Джон). Группа начала выступать на фестивалях, где, как это нередко бывает, обнаружила, что название Avatar уже занято. Скрестив слова Savage (дикий) и Avatar, они получили слово Savatage, которое и стало с 1983 года названием их группы.
В 1983 году Savatage выпустил дебютный альбом Sirens. Альбом был выдержан в духе новой волны британского хэви-метала. В таком стиле группа играла до середины 1990-х. Коммерческий успех пришел к группе с переходом на лейбл Atlantic Records и альбомом Hall of the Mountain King. Название было взято из музыкальной композиции Эдварда Грига «В пещере горного короля», обработку этого произведения можно услышать в композиции «Prelude to Madness».
В 1989 году был выпущен альбом Gutter Ballet, звучание которого стало еще более экспериментальным. Его характерной чертой стало обширное использование клавишных инструментов. По словам Джона Оливы, на этот шаг его вдохновило посещение бродвейского мюзикла Эндрю Ллойда Уэббера. С тех пор данный элемент прочно закрепился в стилистике группы. Следующий альбом Streets, выпущенный в 1991 году, впервые в истории группы носил полностью концептуальный характер и был обозначен как рок-опера. За основу лирической части была взята история рок-музыканта, написанная по книге продюсера и друга группы Пола О’Нила.
После завершение тура в поддержку Streets Джон Олива решает отказаться от обязанностей вокалиста и даже формально покидает коллектив, но продолжает оставаться одним из его композиторов, отвечая за написание клавишных партий и текстов песен. Один из друзей Криса Оливы предложил группе кандидатуру Зака Стивенса, голос которого заметно отличался от его предшественника. В конечном итоге она была одобрена и группа начала запись следующего альбома, который получил название Edge of Thorns и был выпущен 2 апреля 1993 года. Изменившееся звучание группы было встречено, в основном, положительными отзывами.
17 октября 1993 года произошла трагедия. Гитарист, композитор и основатель Крис Олива погиб в возрасте 30 лет в автокатастрофе, после лобового столкновения с управляемой нетрезвым водителем машиной, выехавшей на встречную полосу. Его потеря стала тяжелым ударом для группы. Тем не менее, последнее слово осталось за Джоном Оливой. Savatage решают продолжить музыкальную деятельность, считая, что так пожелал бы сам Крис.
16 августа 1994 состоялся выпуск альбома Handful Of Rain, материал для которого почти целиком был сочинен Джоном Оливой. Вокальные партии вновь были записаны Заком Стивенсом, а на место соло-гитариста был приглашен джазовый гитарист Алекс Сколник, незадолго до этого покинувший трэш-метал-группу Testament. Он увлекался творчеством Savatage еще со времен старшей школы и согласился попробовать себя в качестве участника. Барабанщик Стив Ваколс, не выступавший в туре в поддержку Edge Of Thorns из-за личных обстоятельств, принял решение завершить карьеру. Одной из причин своего решения он обозначил утрату Криса, который был его близким другом с 14 лет. Новым барабанщиком стал Джефф Плейт, ранее игравший со Стивенсом в группе Wicked Witch. Басист Джон Ди Мидлтон, также не принимавший участия в записи альбома, вернулся к музыкальной деятельности. Крис Кафферти, с 1987 по 1990 год выступавший на концертах в качестве ритм-гитариста, а также появлявшийся на групповых фото в буклетах к альбомам Hall Of The Mountain King и Gutter Ballet, вновь присоединился к группе, на сей раз в качестве постоянного участника.
После тура в поддержку Handful Of Rain Сколник решает сконцентрироваться на сольном проекте. Его сменил Эл Питрелли. Джон Олива официально вернулся в состав группы, фактически её не покидая. Зак Стивенс продолжал оставаться основным вокалистом, в то время как Олива был сконцентрирован преимущественно на клавишных и пел лишь в некоторых треках. Dead Winter Dead, выпущенный в 24 октября 1995 года, вновь был полностью концептуальным. В звучание группы были добавлены элементы симфонического метала. Альбом получил множество положительных отзывов от слушателей и музыкальных журналистов. На его основе был создан отдельный проект Trans-Siberian Orchestra.
В 1997 году состоялся выход следующего концептуального альбома The Wake of Magellan. На данный момент, это последний релиз при участии Зака Стивенса, который покинул группу в 2000 году, чтобы уделять больше внимания семье и новому проекту Circle II Circle. После ухода Стивенса Джон Олива вновь занял место у микрофона. В 2001 году был выпущен альбом Poets and Madmen. После тура в его поддержку, завершившегося 5 августа 2002 года в Будапеште, группа решает уйти в творческий отпуск на неопределенный срок. 17 октября 2003 года состоялся концерт памяти Криса Оливы. В выступлении приняли участие Circle II Circle и John Oliva's Pain, после чего участники Savatage вышли на сцену и отыграли 17 песен. Несмотря на свой исторический характер, этот концерт не планировался для записи и издания на CD или DVD. После этого момента группа не выступала до 2015 года.
2 августа 2014 года было объявлено о том, что Savatage станут хэдлайнерами Wacken Open Air 2015. Воссоединение произошло в составе, действовавшем с 1995 по 2000 год. Джон Олива заявил, что это выступление будет единственным в Европе в 2015 году. Однако он не исключил возможности полноценного тура в будущем.
