В 1991 году несколько студентов университета Waseda, которые так же являлись посетителями клуба пения а капелла «Street Corner Symphony», решили создать собственную группу. В августе 1994 лейбл File Records выпустил их мини-альбом Down to Street.
После изменения состава, группой занялся Ki/oon Records и в декабре того же года выпустил первый сингл группы, названный Promise. Эта песня является прекрасным отображением стиля The Gospellers с волшебным фоновым пением а капелла.
Позже, хотя группа выпускала три-четыре сингла в год, причем все песни были очень качественные, они подверглись критике из-за недостаточной популярности. В декабре 1998 года баллада Atarashii Sekai открыла новый период в творчестве группы: с того момента The Gospellers сосредоточились на исполнении медленного R&B, начиная несколько пренебрегать гармониями и а капелла. Но на тот момент это было то, что нужно. Получилось так, что The Gospellers "оказались в нужное время в нужном месте".
14й сингл группы Towani, вышедший в 2000 году, принес долгожданный успех. Towani вскоре стала известной балладой и продавалась в невероятных количествах. Благодаря этому их шестой альбом Soul Serenade ожидала та же судьба. Следующий же релиз Kokuhaku, с новым звуком и быстрым ритмом, не снискал такой славы, как его предшественники. С очередным синглом Hitori группа вернулась к своим корням, песня была полностью а капелла. Удивительно, но этот сингл ждал успех и песня достигла третьего места в Oricon. Это был вообще первый раз, когда а капелла достигла первой тройки в этом чарте.
6го июня 2001 года группа выпустила балладу Love Notes, распроданную количеством больше чем миллион копий. В том же году группу пригласили принять участие в ежегодном Kôhaku Utagassen.
К тому моменту группа достигла пика своей популярности. У них появились поклонники, гарантирующие определенный успех работ группы в любом случае и лояльные к любому их релизу вообще. Группа работала без продыху, выпуская по два-три сингла в год, не считая нескольких альбомов, к примеру A Capella (2002), содержащий в себе только песни а капелла, или G10, состоящий из лучших песен первого периода их карьеры. В начале 2005 поступила в продажу перемикшированная версия первого альбома Down to street.
В апреле 2006 группа приняла участие в проекте с некоторыми музыкантами из группы Rats&Star. Они назвали проект в джазовом стиле - Gosperats. В этой группе у певцов был специальный мейк-ап ("черное лицо"), тем самым они хотели "выглядеть как черные американцы", а выступления ввергали поклонников в шок. Но это был всего лишь сайд-проект, вскоре группа вернулась и выпустила сингл Hitotsuji no Kiseki/Kaze wo Tsukamaete, получивший теплый прием от публики.
Их талант всегда отмечали коллеги, у них много раз просили написать песню, спеть или спродюссировать его. Их стиль не меняется, хотя на талант исполнителей и продюсеров просто грех жаловаться.
