Группа In Extremo (сокр. InEx) была создана из двух изначально независимых проектов: безымянной группы, исполнявшей исключительно средневековую музыку, и рок-группы. Фолк-проект стал известен благодаря частым выступлениям на средневековых ярмарках и других мероприятиях, на которых музыканты исполняли классические и народные произведения. Во время подготовки к средневековому сезону в 1995 году Михаэль Роберт Райн (он же Das letzte Einhorn) придумал латинское название «In Extremo», означающее «В завершение», «На краю». Группа также известна благодаря используемой на концертах пиротехнике.
Средневековую группу основали Das letzte Einhorn, Flex der Biegsame и Conny Fuchs, которая через некоторое время забеременела, и вследствие этого покинула едва зародившийся проект. Ей на смену пришёл Dr. Pymonte. Вскоре к группе присоединился Sen Pusterbalg, который, однако, недолго продержался с группой и, не веря в её потенциал, ушёл. В 1997 году его место занял Yellow Pfeiffer. Рок-группа изначально состояла из трёх человек: Thomas der Münzer, Der Morgenstern и Die Lutter.
Возрастающее число посетителей концертов, давление со стороны лейбла, а также собственный интерес привели In Extremo к первым попыткам объединения волынок и рок-гитар. К средневековой группе присоединилась рок-группа, которая привнесла современные инструменты: ударную установку, бас-гитару и электрогитару.
В 1996 году началась работа над первым альбомом, который, помимо исключительно средневековых композиций, включал в себя две песни из рок-программы. Поскольку альбом не имел официального названия, из-за обложки золотистого цвета он был назван Gold. Лишь после переиздания в 2006 году он получил официальное название — Die Goldene. В феврале 1997 года группа, самостоятельно издав этот альбом, стала продавать его на средневековых ярмарках, как и первый макси-сингл Der Galgen, содержащий пять новых песен из рок-программы.
In Extremo продолжали играть в качестве двух независимых проектов — днём на ярмарках выступала средневековая группа, вечером играли рок-программу. Лишь 29 марта 1997 года был дан концерт уже объединенной формации, потому именно этот день зачастую считается официальной датой основания In Extremo. В начале 1998 года группа выпустила ещё один альбом средневековой музыки — Hameln.
После официального объединения двух проектов 11 апреля 1998 в замке Рабенштейн в Бранденбурге года состоялся большой концерт In Extremo в едином составе. В тот день группу заметил независимый берлинский лейбл Vielkleng, In Extremo подписали свой первый договор, а ещё через месяц — то есть всего после два месяца после издания альбома Hameln — записали и выпустили свой дебютный рок-альбом Weckt die Toten!. На запись этой пластинки было потрачено всего 12 дней, поскольку владельцы лейбла очень сильно торопили группу с релизом. Практически весь альбом состоял из средневековых песен, написанных на мёртвых европейских и скандинавских языках. Лишь несколько песен было написано самими In Extremo. Затем последовал продолжительный тур по Германии, а читатели журнала Rock Hard определили In Extremo «лучшей группой года».
В конце 1998 года появились планы по записи следующего альбома. Весной 1999 года In Extremo подписали контракт с лейблом Mercury/Universal. На одном из концертов в Мангейме, в Capitol фронтмен группы Михаэль Райн получил тяжёлые ожоги вследствие неверно рассчитанных действий во время огненного шоу. Существование In Extremo встало под вопрос, однако вокалиста удалось спасти, и уже через два месяца он вновь оказался на сцене со своей группой, на фестивале Dynamo Open Air в Голландии.
Следующим релизом группы стал промо-сингл с песней This Corrosion, кавер-версией песни группы Sisters of Mercy. На эту же песню был снят первый видеоклип группы. Новый альбом, получивший название Verehrt und Angespien, вышел в сентябре 1999 года, заняв 11-е место в немецких чартах, чем сильно удивил и группу, и менеджмент. После реализации пластинки группа отправилась на гастроли по Германии и соседним странам. Гитарист Томас Мунд по прозвищу Thomas der Münzer в конце первой части тура впал в тяжёлую депрессию, вследствие чего вынужден был временно покинуть группу и лечь на обследование в психиатрическую клинику. Его преемником стал Себастьян Оливер Ланге по прозвищу Van Lange, в начале декабря 1999 он впервые вышел на сцену с In Extremo. Томас так больше и не вернулся в группу, так что Себастьян из временного участника превратился в постоянного.
В 2000 году In Extremo совершили свой первый тур по Мексике и странам Скандинавии. Кроме того, в этом же году был выпущен сингл Vollmond, одноименная песня с которого стала одной из «визитных карточек» группы. В сентябре 2001 года на нее был снят клип. 7 сентября вышел следующий студийный альбом, получивший название Sünder ohne Zügel. С этим релизом In Extremo впервые попали в первую десятку в немецких и австрийских чартах. После этого In Extremo были замечены разработчиками компьютерных игр из студии Piranha Bytes, которые предложили им поучаствовать в создании готовящейся игры Gothic. В итоге в игру был вставлен виртуальный концерт группы, исполнявшей песню Herr Mannelig в акустическом варианте. На сцене стояло семь виртуальных фигурок, полностью имитирующих внешность и костюмы музыкантов In Extremo (насколько это позволяли технологии 2001 года). Также из фрагментов видеозаписей, сделанных во время тура, был сделан третий клип группы — на песню Wind с нового альбома. 11 сентября басист Кай Люттер, чувствуя острую боль в области живота, отправился на обследование в клинику, где ему диагностировали рак толстой кишки. Тур пришлось отложить, однако вскоре он всё же был проведён с временным басистом — Тодди из группы Boon. Die Lutter сумел побороть болезнь и вернулся на сцену к Рождеству.
Также группа была номинирована на премию «Echo» в категории «Национальный ню-метал/альтернативный рок», но награду в этой номинации взяли Rammstein. В течение лета группа готовила материалы для своего первого DVD — съёмки проводились на концерте в Кифхойзере, на фестивалях Taubertal и M’era Luna. Также были использованы материалы с мексиканских концертов. Сам DVD вышел в декабре 2002 года, получив скромное название Live 2002. Помимо DVD, концерт также вышел и в аудиоварианте на CD. В 2011 году DVD Live 2002 стал золотым.
Следующий студийный альбом увидел свет в 2003 году, получив название Sieben. Он достиг третьего места в немецких, швейцарских и австрийских чартах, обновив рекорд группы. В том же самом году он стал золотым. На два сингла с альбома, Küss mich и Erdbeermund, были сняты клипы. Последовавший затем тур стал самым успешным для группы на тот момент. Кроме того, после записи этого альбома Кай Люттер вместе со своей семьей переехал жить в Куала-Лумпур, вследствие чего в клипах, а также некоторое время на сцене его замещал всё тот же Тодди из Boon. В 2003 году Кай вернулся к гастрольной деятельности с In Extremo — ему приходилось летать из Малайзии в Германию, чтобы отыграть тур, после чего возвращаться обратно. Такие трудности приходилось преодолевать вплоть до 2007 года, когда его семья окончательно вернулась в Берлин.
В 2005 году вышел новый студийный альбом — Mein rasend Herz, первым синглом с которого стала песня Nur ihr allein, на которую даже был снят клип с настоящими японскими туристами. Этот альбом повторил успех предыдущего, заняв третье место во всех традиционных чартах, а успех тура даже превысил предыдущий. В 2017 году альбом получил статус золотого. Также вышел сингл Horizont и был снят одноименный клип, в котором сыграла и дочь Михаэля Райна. В начале 2006 года вышли CD и DVD с записью большого концерта в Берлине. Концертник получил название Raue Spree, и уже в 2007 году также получил статус золотого.
Кроме того, 2005 год отметился для In Extremo выступлением на фестивале Vaya-con-Tioz в Лауситцринге — это был прощальный концерт немецкой группы Böhse Onkelz.
В начале 2006 года In Extremo впервые выступили в России, в Москве. В феврале In Extremo были в гостях на телепрограмме TV Total у Штефана Рааба, представив там сингл Liam. Та же песня была представлена и на конкурсе песен Бундесвидение, на котором In Extremo выступали за Тюрингию и заняли третье место.
Позднее группа снова отправилась в тур, помимо прочего, побывав на Wacken Open Air. Близился юбилей группы — 10 лет с момента основания. В честь этого события было решено переиздать два первых акустических альбома, Die Goldene и Hameln. Переиздания вышли весной 2006 года в новом качестве, оформлении и с бонус-треками. Кроме того, в том же году In Extremo устроили голосование на своём сайте за любимые фанатами песни. По результатам было отобрано 13 треков, часть из которых была перезаписана в совершенно новом звучании. Добавив к ним две новые песни, In Extremo издали их в качестве Best-of-сборника Kein Blick zurück в декабре 2006 года. Альбом вышел также и в лимитированном издании, содержавшем второй диск, на который было записано 8 каверов от других групп на песни In Extremo. В 2007 году прошёл небольшой тур в поддержку сборника. Кроме того, группа вновь сыграла в Москве.
9 мая 2008 года вышел новый альбом Sängerkrieg. Ему предшествовал выход сингла Frei zu sein, клип на эту песню снят по мотивам голливудского блокбастера Пролетая над гнездом кукушки. Этот альбом впервые за всю дискографию группы занял первое место в немецких чартах, а в 2010 году получил статус золотого. Летом 2008 года стартовал тур под названием Ius primae noctis. Особенность его состояла в том, что города для проведения концертов (Мерзебург, Кройцберг, Хемниц и др.), по словам самой группы, были выбраны исходя из приятной атмосферы и наиболее благодарной и активной публики. Кроме того, In Extremo отыграли концерты в Австрии, а также снова вернулись в Россию, на этот раз — в Москву и Санкт-Петербург. 17 октября вышел сингл Neues Glück, а 28 октября — акустический концертный альбом Sängerkrieg Akustik Radio Show, который группа сыграла на радио Fritz. В декабре начался тур в поддержку альбома. Концерт 17 декабря в кёльнском Palladium был записан, а в мае 2009 выпущен в качестве DVD под названием Am goldenen Rhein. Этот концертный альбом занял восьмое место в чартах, продержавшись там 12 недель, а в 2012 году стал платиновым. В 2009 году группа вновь посетила Россию, а в конце года устроила акустический тур.
В феврале 2010 года ударник Der Morgenstern покинул группу. У группы в то время был намечен акустический тур под названием Tranquilo, и место за ударной установкой временно занял Адриан Отто, техник группы. Уже на фестивале Rock im Park группа представила своего нового ударника — Specki T.D., который ранее был членом группы Letzte Instanz.
В июле 2010 In Extremo отпраздновали собственное 15-летие масштабным фестивалем в Эрфурте, который получил название 15 Wahre Jahre. Фестиваль проходил два дня, были приглашены группы Grüßaugust, Oomph!, Pothead, Fiddler’s Green, Korpiklaani, Ohrenfeindt и другие. На выступлениях самих In Extremo присутствовали гостевые музыканты — Джой Келли из The Kelly Family, соосновательница In Extremo Конни Фухс, а также немецкий пианист Гётц Альсманн.
25 февраля 2011 года вышел следующий студийный альбом — Sterneneisen, который, как и его предшественник, занял первое место в чартах, а в 2012году стал золотым. В апреле группа отправилась в тур в поддержку альбома по Германии, Австрии и Швейцарии. В ноябре 2011 группа устроила тур по Европе, который включал в себя Россию, Украину, Испанию, Чехию, Словакию, Нидерланды и Португалию. В декабре стартовала вторая часть Sterneneisen-тура по немецкоязычным странам.
2012 год начался для группы с концерта на фестивале 70.000 Tons of Metal — на большом круизном пароме в странах Карибского бассейна. В начале года вышла подробная биография группы, написанная журналистом Metal Hammer, Вольфом-Рюдигером Мюльманном. Книга получила название «Wir werden niemals knien: Die Geschichte eine unnormalen Band» («Мы никогда не падём ниц: история одной аномальной группы»). Весной группа выпустила свой следующий релиз — записанный в апреле 2011 года на CD и DVD концерт Sterneneisen Live. В том же году группа выступала на Hellfest во Франции, а также стала хедлайнером Metalfest. Летние концерты группы проходили в Италии, Чехии, Германии, Польше, Австрии, Венгрии, Хорватии и Мексике. Однако в 2012 году группа, помимо фестивалей, дала очень мало концертов, решив сделать большой перерыв и отдохнуть от гастрольной деятельности.
В 2013 году In Extremo снова посетили фестиваль Full Metal Cruise, устроенный организаторами Wacken Open Air. 19 мая они организовали пресс-конференцию, на которой было заявлено, что в сентябре появится новый альбом Kunstraub, а следом начнётся и масштабный тур. В 20-х числах сентября вышел сингл Feuertaufe, ставший настоящим хитом, а следом, 27 сентября, появился и полноформатный альбом. Тур в поддержку новой пластинки проходил с октября по декабрь, затронув Германию, Австрию, Швейцарию, Нидерланды, Францию, Чехию и Люксембург. В апреле 2014 года группа, спустя три года, вернулась в Россию, впервые посетив шесть городов — Ростов-на-Дону, Ставрополь, Краснодар, Екатеринбург, Санкт-Петербург и Москву. Было также запланировано два концерта в Украине — в Киеве и Харькове, но их пришлось отменить из-за сложной политической ситуации. Затем последовало насыщенное фестивалями лето.
2015 год был отмечен для In Extremo новым юбилеем — 20 лет с момента создания группы. Почти год музыканты планировали и организовывали новый фестиваль — 20 Wahre Jahre. В начале года группа сыграла концерты на Full Metal Cruise и в Мексике, в апреле снова посетила несколько городов в России, летом приняла участие в традиционном фестивальном сезоне. Фестиваль 20 Wahre Jahre прошёл 3-5 сентября в Германии, на горе Лорелай под маленьким курортным городком Санкт-Гоарсхаузен. На фестивальной площадке выступали Schandmaul, Eisbrecher, Eluveitie, Fiddler’s Green, Die Krupps, Dritte Wahl, Russkaja, Omnia, Orphaned Land и другие. Также в честь собственного юбилея группа выпустила сборник 20 Wahre Jahre Jubiläums Boxset — по сути, бокс-сет, который содержал в себе все студийные альбомы в улучшенном качестве, концертник Die Verrückten sind in der Stadt, диск с редкими песнями, а также ранее не издававшийся акустический концерт в Берлине в 2010 году.
Юбилейная площадка собрала в общей сложности около 25 000 фанатов, что сильно вдохновило музыкантов, и той же осенью они приступили к созданию нового альбома. Но в самый канун Рождества случилась беда — In Extremo сняли новую студию в Берлине и только начали переезд туда, но уже на следующую ночь она сгорела из-за взрыва на находившейся рядом бензоколонке. Удалось спасти все инструменты и компьютер с данными и демо-записями песен, однако работа всё равно была приостановлена, кроме того, In Extremo лишились репетиционной площадки. Вследствие этого решено было сразу после Нового года отправляться в студию Principal, где и планировалось окончание работы над новым альбомом. Несмотря на все трудности, работа была закончена вовремя, и 24 июня 2016 года альбом Quid pro Quo вышел в свет. На новой пластинке группа утяжелила звучание, добавила более резкий гитарный саунд, но вместе с тем вернулись и некоторые старинные инструменты (к примеру, трумшайт), вновь было записано несколько песен на иностранных (в том числе старинных) языках, среди них была и одна песня на русском. Альбом был тепло принят критиками и фанатами, практически сразу он занял первое место в чартах. Масштабный тур стартовал осенью — в сентябре группа посетила Россию, Украину и Беларусь, а вслед за этим начались концерты в Германии и других немецкоязычных странах. В начале декабря был выпущен концертный альбом Quid pro Quo Live, записанный в кёльнском зале Palladium. Кроме того, 16-17 декабря группа устроила два новогодних акустических концерта на пароме в Кёльне.
В 2017 году In Extremo сыграли на разогреве у легендарных Kiss. В сентябре того же года вышел сборник 40 Wahre Lieder, содержащий 40 лучших песен за всю историю группы, а также три видеоконцерта с юбилейного фестиваля 20 Wahre Jahre.