Группа «MERCYFUL FATE» была основана в 1980 году в Копенгагене из оставшихся участников групп Хенка Шермана (Hank Shermann) «BRATS» и Кинга Даймонда (King Diamond) «BLACK ROSE». В начале своего существования группа играла в жанре Speed Metal, вводя в него некоторые элементы Black Metal.
Весной 1981 года Шерман с Даймондом помогали своему знакомому музыканту Махаэлю Деннеру (Michael Denner) с демо-записями для его группы «DANGER ZONE». В первую демо-запись вошли такие песни как «Walking Back To Hell», «Running Free», «Black Masses», «Hard Rocker», а во вторую «Curse Of The Pharaohs», «Return Of The Vampire», «A Corpse Without Soul» и «Burning The Cross».
После этого стало ясно, что Шерман, Даймонд, Деннер и бас-гитарист Тими Граббер (Timi Grabber) вместе прекрасно себя чувствуют и готовы работать в команде. Именно этот состав положил начало дальнейшему развитию «MERCYFUL FATE».
Состав окончательно установился далеко не сразу. Деннер уходил на некоторое время, ударники появлялись в группе и так же быстро сменялись другими, пока наконец к коллективу не присоединился Ким Разз (Kim Ruzz).
В начале 1982 года одна из записей группы попала на сборник «Metallic Storm» лейбла Ebony Records, а в конце года нидерландский лейбл Rave On выпустил первый EP группы «Nuns Have No Fun», в который вошли песни «Devils Eyes», «Nuns Have No Fun», «Doomed By The Living Dead» и «A Corpse Without Soul».
Музыка «MERCYFUL FATE» представляла собой сочетание влияния творчества таких исполнителей, как «DEEP PURPLE», «BLACK SABBATH» и «JUDAS PRIEST». Добавление театральных элементов группа позаимствовала у Элиса Купера (Alice Cooper), а также некоторые другие детали у течений New Wave Of British Heavy Metal и Thrash Metal.
Спустя короткое время, в течение года, группа выпускает легендарные альбомы «Melissa» 1983-го года и «Don't Break the Oath» 1984-го года. На обоих альбомах отчётливо слышатся гитары Шермана и Деннера, а также весьма своеобразный, злобный фальцет Даймонда. В настоящее время обе пластинки считаются классикой жанров Power Metal и Black Metal.
В 1983-м году группа выступала с концертами по Германии совместно с «GILLAN», «URIAH HEEP», «GIRLSCHOOL» и «HELIX» в поддержку альбома «Melissa». После выпуска альбома «Don't Break The Oath» группа начинает турне по США, поиграв на разогреве у «MOTORHEAD» сама выступила в качестве хедлайнеров. В ходе этого тура участники ссорятся между собой и группа распадается в апреле 1985 года.
После распада Кинг Даймонд основывает с бывшими участниками Тими Хансеном («GRABBER») и Михаэлем Деннером группу под собственным именем, продолжившую традиции «MERCYFUL FATE» в чуть более прогрессивном стиле. Хенк Шерман также продолжает карьеру музыканта и основывает группу «FATE».
В июле 1992 года все участники «MERCYFUL FATE» кроме Кима Разза (Kim Ruzz), которого заменил Мортен Нельсен (Morten Nielsen), собираются вместе и подписывают контракт с американским лейблом Metal Blade Records - независимой студией под управлением Браяна Слэйджела (Brian Slagel), в своё время выпустившей первые записи «METALLICA» и «SLAYER». В этой студии группа записывает альбом «In The Shadows», который вышел в 1993 году. В записи песни «Return of the Vampire» участвует барабанщик «METALLICA» Ларс Ульрих (Lars Ulrich).
Год спустя группа выдает свое следующее творение, получившее название «Time». В начале 1996-го года за ударную установку садится Бьорн Ти Холм (Bjorn T. Holm), а чуть позже в команде появляется новый басист Шарли Д'Анжело (Sharlie D'Angelo). В этом составе был записан альбом «Into The Unknow», вышедший в августе 1996 года.
В 1997-м году большинство музыкантов «MERCYFUL FATE» было занято в сторонних проектах. В это время лэйбл Roadrunner Records провёл ремастеринг ранних работ группы и добавил в них бонусные треки, выпустив их в свет. Тенденция к сайд-проектам продолжилась и дальше, хотя группа выпускала пластинки и выступала с концертами. Сам же Кинг Даймонд успевал работать и в «MERCYFUL FATE» и в своем проекте «KING DIAMOND». В это же время Шерман и Холм работают в проекте «GUTRIX».
В 1998-м году выходит альбом группы «Dead Again», на котором на месте ушедшего Деннера можно слышать превосходную игру гитариста Майка Уида (Mike Wead). В том же году «METALLICA» выпустила попурри «MERCYFUL FATE» на альбоме «Garage Inc.», состоящий из пяти песен «MERCYFUL FATE»: «Satan’s Fall», «Curse of the Pharaohs», «A Corpse without Soul», «Into the Coven» и «Evil».
Работа над следующим альбомом началась в феврале-марте 1999-го года в студии Nomad Records, где записывался ранее альбом «Dead Again». Записанный альбом назвали «9». Летние концерты «MERCYFUL FATE» в 1999-м году стали самыми успешными гастролями за всю их карьеру.
До 1999 года группа сменила весь состав кроме Кинга Даймонда и Шермана. С тех пор группа не записывала и не выпускала ни одной песни. В марте 2008 года в интервью финскому порталу HardcoreSounds Кинг Даймонд заявил, что «MERCYFUL FATE» ни в коем случае не распались.
В 2008 году «MERCYFUL FATE» в оригинальном составе кроме ударных, за которыми занял место Холм, записали новые версии песен «Evil» и «Curse Of The Pharaohs» для игры «Guitar Hero: Metallica». В игру вошла только песня «Evil». 1 сентября 2009 года был выпущен виниловый сингл с обеими песнями, а также они доступны на ITunes.
В июне 2010 года Шерман поделился с прессой планами на будущее. В начале 2011 года группа планировала выпустить DVD с ранними записями «MERCYFUL FATE». После этого группа будет работать над новыми материалами для следующего альбома.