Барабанщик Мик Такер и вокалист Брайан Коннолли встретились в британской группе Wainwright's Gentlemen (где до прихода последнего пел Иэн Гиллан), исполнявшей психоделический поп с элементами музыки соул. В январе 1968 года оба покинули состав и образовали The Sweetshop, пригласив бас-гитариста Стива Приста (Steve Norman Priest, экс-The Army, The Countdowns) и гитариста Фрэнка Торпи . Квартет приобрёл известность на лондонской паб-сцене и получил контракт с лейблом Fontana Records, после чего сократил название до The Sweet.
Дебютный сингл «Slow Motion» (июль 1968) успеха не имел, контракт с группой был расторгнут, и Торпи покинул состав. С заменившим его в 1969 году гитаристом Миком Стюартом группа подписала контракт с Parlophone Records и выпустила ещё три легковесных поп-сингла: «Lollipop Man» (1969), «All You’ll Ever Get from Me» (1970) и «Get On the Line» (кавер песни The Archies), ни один из которых не попал в чарты. Стюарт ушел и был заменен Энди Скоттом, авторитетным гитаристом, до этого игравшим в Scaffold, Mayfield's Mule и Elastic Band.
Новый состав подписал контракт с RCA Records, а также договор о сотрудничестве с только что образованным авторским дуэтом, Никки Чинн — Майк Чэпмен, чья первая же композиция «Funny Funny» принесла группе мгновенный успех (#13, UK Singles Chart). Далее последовали «Co-Co» (#2 UK, #1 Германия), «Alexander Graham Bell» (#33 UK) и «Poppa Joe» (#11 UK; #3 Германия, #1 Голландия). Первый полноформатный студийный альбом Funny How Sweet Co-Co Can Be, однако, оказался провальным, что дало прессе повод «похоронить» Sweet под ярлыком «singles’ band». Усугубили положение Чинн и Чепмен, которые приглашали в студию сессионных музыкантов, явно игнорируя возросшие способности участников группы.
Sweet не были довольны своей репутацией поп-группы, о чём говорят би-сайды их ранних синглов, исполненные в стиле хард-рок. Эти песни производили большее впечатление на публику, чем поп-композиции Чинна и Чэпмена, и последние стали сочинять более тяжёлые вещи, такие как «Little Willy» (#2 UK, #3 США, #1 Германия) и «Wig Wam Bam» (#2 UK; #1 Германия). На этих записях Sweet сами исполняли инструментальные партии. В 1973 году песня «Block Buster!» стала первым и единственным синглом Sweet, занявшей первое место в британских чартах, также она стала #1 в Германии, Нидерландах, Новой Зеландии, Австрии и Ирландии, и #3 в Швейцарии и Норвегии. Последующие синглы «Hell Raiser», «The Ballroom Blitz» и «Teenage Rampage» поднялись до #2 в Британии.
В 1974 году Sweet записали хард-роковый альбом Sweet Fanny Adams с мастерски исполненными инструментальными партиями и интересными аранжировками, получивший высокие оценки критиков и вошедший в UK Top 40. Последовавший за ним Desolation Boulevard (с кавером «My Generation») не только был тепло принят критикой, но получил хвалебные отзывы от участников The Who, которые пригласили Sweet к совместному выступлению на стадионе «Вэлли» футбольного клуба «Чарльтон Атлетик». К сожалению, незадолго до концерта Коннолли подвергся нападению хулиганов и получил ранение шеи, которое, по-видимому, оказалось роковым для его вокала, требовавшего максимального мускульного напряжения.
В 1975 году Sweet прервали отношения с Чинном и Чэпменом, последние две работы которых — «The Six Teens» и «Turn It Down» — оказались неудачными. Песня «Fox on the Run» авторства самих Sweet стала самым продаваемым их синглом и заняла второе место в Британии, Нидерландах и Норвегии, пятое в США и первое в Германии и Австралии. Многие исполнители, включая Scorpions,Def Leppard, Ace Frehley (Kiss), записывали кавер-версии этой песни. Однако следующие синглы, «Action» и «Lies in Your Eyes», заняли всего лишь 15 и 35 места в британском хит-параде. Популярность группы пошла на спад.
В 1975 году группа отправилась в мировое турне, а в марте 1976 года вышел полностью хард-роковый альбом «Give Us A Wink». В США он достиг 27 места, но в Британии вообще не попал в хит-парад. Следующий альбом «Off the Record» имел успех только в Германии, Швеции и неожиданно в ЮАР. В 1978 году группа стала играть прогрессивный рок. Альбом в этом стиле, «Level Headed», тоже имел очень небольшой успех, однако сингл «Love Is Like Oxygen» стал хитом во многих странах, в том числе Великобритании, где достиг 9 места. Это был последний успех Sweet в родной стране. В последовавшем турне по Америке Sweet были уже не хедлайнерами, а разогревающей командой Боба Сигера.
В феврале 1979 года Коннолли покинул группу и начал сольную карьеру (выпустив три сингла: «Take Away The Music», «Don’t You Know a Lady» и «Hypnotised»). Sweet продолжили играть втроём и выпустили три альбома, последний из которых, «Identity Crisis», вышел только в Германии, но и там к нему не проявили особого интереса. В 1982 году Sweet распались.
