Свою карьеру группа начала в немецком городе Ахене в 1980 году. В первоначальный состав вошли Йохен Фундерс (гитара, вокал), Рамон Брюслер (бас) и Петер Форденштайн (барабаны). Однако через год состав значительно поменялся. Новым гитаристом стал Энди Классен, а обязанности вокалиста были возложены на парня по имени Игги. Но скоро стало ясно, что он не справляется. Энди предложил взять на вокал свою подружку Сабину Хиртц. Сначала она не хотела участвовать в группе и, чтобы доказать это пела в весьма агрессивной манере. Однако это так потрясло группу, что они уговорили Сабину остаться.
В 1984 году к группе в качестве второго вокалиста присоединился брат Сабины, Том, но продержался в коллективе только 4 недели.
Свой дебютный альбом «Queen of Siam» группа выпустила только в 1986 году. В записи принимал участие новый барабанщик группы Герберт Дрегер, а продюсером выступил Ральф Хьюберт из Mekong Delta. После записи группа снова поменяла барабанщика. На этот раз им стал Ули Куш (будущий участник Helloween). Но на этом смены состава не закончились. Внезапно группу покидает Рамон, басист и основатель группы.
Следующим альбомом группы становится «Finished With The Dogs», выпущенный в 1987 году. Все песни на нём были написаны Энди Классеном. Альбом получил очень хорошие отзывы от музыкальных критиков и журналов по всему миру, что привлекло внимание Warner Brothers Records, одного из крупнейших музыкальных лейблов. После заключении сделки с этой компанией, Holy Moses отправляются в тур при поддержке DRI.
Следующий альбом группы получил название «The New Machine Of Lichtenstein» и вышел в 1989 году. После выпуска альбома группа отправилась в своё самое крупное турне вместе с Forbidden и Sacred Reich. Вскоре проблемы с лейблом заставили Holy Moses уйти на менее мажорный West Virginia/SPV. На нём и был выпущён следующий полноформатник коллектива «World Chaos». Сразу после выпуска этого альбом из группы уходит барабанщик. Некоторое время его заменял Атомик Штайф, но и он ушёл из группы, решив продолжить свою карьеру в другой немецкой трэш-метал-группе Sodom.
В 1991 году вышел очередной альбом «Terminal Terror» на West Virginia, а в 1992 году после записи «Reborn Dogs» группа распалась. В 1993 году у группы вышел сборник лучших вещей «Too Drunk To Fuck». В 1994 году Энди Классен, будучи композитором и продюсером, выпустил альбом «No Matter What’s The Cause» под маркой Holy Moses. Через год Энди и Сабина развелись. После ухода из Holy Moses Сабина основала группу Temple Of The Absurd, которая выпустила два альбома: «Absurd» (1995) и «Mother, Creator, God» (1999), а затем и она прекратила существование.
После распада Temple Of The Absurd Сабина и Энди помирились и стали совместно работать над новым материалом. Первым продуктом реюниона стал EP «Master of Disaster», а в 2002 году вышел новый альбом «Disorder of the Order». Весь оставшийся год группа активно выступала с концертами. После тура Энди Классен объявил, что больше не может заниматься только Holy Moses, так как должен продюсировать другие группы. Новым гитаристом и продюсером Holy Moses стал друг Энди — Михаэль Ханкель. С ним группа записала новый альбом «Strength, Power, Will, Passion».
В 2007 году барабанщик Атомик Штайф вновь вернулся в группу для записи нового альбома. В 2008 году группа провела успешный тур вместе с Obituary и Avatar. Осенью того же года вышел десятый альбом группы, получивший название «Agony of Death».
В 2014 году команда выпустила 11-й студийный альбом под названием «Redefined Mayhem».
