Группа образовалась в 1989 году на обломках распавшейся группы The Slugs, где Кирк Уиндстейн играл вместе с барабанщиком Джимми Бауэром. К ним присоединились басист Тод Стрэндж и гитарист Кэвин Нунан. Crowbar считается одной из самых влиятельных метал-групп, вышедших с Ново-Орлеанской метал-сцены.
В 1991 году выходит первый альбом группы Obedience Thru Suffering. Барабанщик Джимми Бауэр на первом альбоме Crowbar не принимал участие, поэтому его заменил Крэйг Нуненмахер.
В 1993 году, после ухода Нунана, на его место встал гитарист Мэт Томас. В обновлённом составе группа подписала контракт с компанией Pavement Music, которая в октябре того же года выпустила их альбом Crowbar. Продюсером этого альбома стал вокалист Pantera Фил Ансельмо. Уиндстейн и Ансэльмо в своё время начинали в одной группе, где оттачивали своё мастерство около трёх лет. Альбом разошёлся тиражом в 100 000 экземпляров и принёс группе известность.
В 1995 году после выхода третьего альбома группы Time Heals Nothing уходит Крэйг Нуненмахер, который решил продолжить свою карьеру вместе со Стивом Блэйзом. За ударной установкой вновь оказался Джимми Бауэр, благодаря чему Crowbar вернулись к своему «фирменному» саунду.
Crowbar быстро пополнился огромным количеством фанатов: появление на MTV, европейский тур с группой Paradise Lost и американский — вместе с Napalm Death, турне с Pantera. К тому времени Кирк, Тод, Джимми (Crowbar), Фил Ансельмо (Pantera) и Пэппер Кинан (Corrosion of Conformity) создали группу Down, пользующуюся не меньшей популярностью, чем их основные команды.
Crowbar медленно пошел на спад. Со стабильностью состава у группы до сих пор не всё гладко. Сначала ушёл Мэтт Томас, которого сменил гитарист Acid Bath Сэмми Пьер, с которым был записан альбом 1996 года Broken Glass. А следующий альбом, Odd Fellows Rest, стал последним для Бауэра в составе группы. Его заменил Сид Монтц, а затем Крэйг Нуненмахер. После записи Equilibrium ушёл Тод Стрэндж, на басу в группе стал играть Джэф Оконески. Нуненмахер также числится в группе Black Label Society у гитариста Закка Уайлда.
В марте 2008 года было объявлено, что их альбомы — «Crowbar» (1993), "Time Heals Nothing " (1995) и «Live +1» EP (1995) был переиздан в Европе 21 апреля 2008 года с бонус треками и мультимедией.
В 2005 году Кирк Уиндстейн начал сотрудничество с Джейми Джаста из Hatebreed, в результате чего на свет появилась группа Kingdom of Sorrow, на данный момент выпустившая два альбома.
