Down основана в 1991 году Филом Ансельмо, тогдашним вокалистом группы Pantera, гитаристом Пеппером Кинаном из Corrosion of Conformity, гитаристом Кирком Виндштейном и басистом Тоддом Стрейнджем из Crowbar и барабанщиком Джимми Бауэром из Eyehategod. В 1992 году группа записала демо из 3 песен. В итоге кассета распространилась по территории США, и Down сыграли концерт в своём родном городе. На этом концерте оказался представитель Elektra Records. Когда он узнал, кто является участниками группы, он предложил Down контракт на запись альбома.
Группа выпустила дебютный альбом NOLA 19 сентября 1995 года. Альбом занял 57 место в чарте Billboard 200. В США было продано более 1 млн копий альбома. Выпуск NOLA был поддержан 13-дневным турне, после которого музыканты вернулись к своим основным группам.
С 1996 по 2002 год группа Down была в неактивном состоянии. В 1999 году группу покинул Тодд Стрейндж. Его место занял басист Pantera Рекс Браун. В 2002 году группа вернулась из длительного отпуска, чтобы приступить к записи второго альбома Down II: A Bustle in Your Hedgerow. Альбом вышел 26 марта 2002 года и занял 44 позицию в Billboard 200. В поддержку альбома музыканты выступили на фестивале Ozzfest в 2002 году. После этого Down была вновь расформирована, и музыканты вернулись к работе в своих основных группах.
Down вновь собралась в 2006 году для записи третьего альбома. Альбом Down III: Over The Under вышел 24 сентября 2007 года на Warner Music Group. Продажи альбома в первую неделю составили около 29 000 копий, в результате альбом занял 26 место в чарте Billboard 200. В поддержку третьего альбома Down отправилась в турне с группами Heaven & Hell и Megadeth.
8 июля 2008 года сайт Metalunderground.com сообщил, что Down планирует записать четвёртый альбом с рабочим названием Down IV. В 2009—2010 гг. велась работа над документальным DVD Diary of a Mad Band. Выход DVD намечен на октябрь 2010.
В марте 2011 года Рекса Брауна на концертах стал заменять басист группы Crowbar Пет Брадерс. Изначально такое изменение состава мотивировалось проблемами со здоровьем у самого Рекса. В июне этого года Джимми Бауер в своем интервью сказал о том, что Рекс не вернется в Down, по состоянию здоровья. Сам же Рекс в одном из своих недавних интервью рассказал: «У нас своего рода небольшая семейная ссора, так что… Не буду ничего конкретизировать. Я в немилости». В октябре 2011 на официальной странице музыкантов Facebook появилась информация о начале новой записи. В январе 2012 были опубликованы названия треков из нового мини-альбома в Facebook — «Levitation», «Witchtripper», «The Misfortune Teller», «Open Coffins», «The Curse is a Lie», «This Work is Timeless». В феврале Джимми Бауэр в одном из интервью сказал, что запись была завершена и группа планирует выпустить её в мае 2012. Это будет первый из четырёх мини-альбомов, который будет представлять собой, по словам Фила Ансельмо, «Настоящий Дум-металл», все четыре мини-альбома планируется записать и издать в течение ближайших нескольких лет. Окончательная дата выпуска первого мини-альбома Down IV Part I — The Purple EP — 18 сентября 2012 года.
