En 1991, plusieurs étudiants de l'université de Waseda, membres du « Street Corner Symphony », un club de chanteurs a cappella, décident de former leur propre groupe. En août 1994, cette jeune formation sortit un premier mini-album, dénommé Down To Street, chez File Records.
La reconnaissance ne se fait pas attendre et en décembre de la même année, après quelques changements dans les membres, sort le premier single du groupe Promise chez Ki/oon Records. La chanson est une bonne introduction au groupe, car elle est presque a cappella si ce n'est un très léger fond musical façon « église ».
Le groupe multiplie alors les singles à raison de trois ou quatre par an, multipliant les succès d'estime malgré des chansons objectivement bonnes, tout en se faisant de plus en plus remarquer à chaque fois. En décembre 1998 sort Atarashii sekai, une magnifique ballade qui met en place ce qui sera le style de prédilection du groupe à partir de maintenant : le R&B « lent », délaissant un peu (mais pas trop quand même) les harmonies et le a cappella. Il faut dire qu'à l'époque cela commence à devenir la mode, et The Gospellers arrive à point nommé.
C'est leur quatorzième single, Towani, sorti en 2000, qui mettra le groupe sur les rails du véritable succès populaire. A nouveau une ballade comme précédemment décrite, cette chanson deviendra un grand classique et se vendra par cargos entiers pendant des mois. Grâce à ce succès, le sixième album du groupe, Soul Serenade sorti peu après, connut le même destin. Leur single suivant, Kokuhaku, plus rapide et moderne, ne connut pas un aussi grand succès que son prédécesseur et pour leur seizième single, Hitori, le groupe revient à ses premières amours : une chanson entièrement a cappella. Cette chanson sera un succès immédiat et entrera directement en troisième place du classement Oricon, ce qui en fit la première oeuvre entièrement a cappella à entrer dans le top 3. Le 6 juin 2001, le groupe sortit la compilation de ballades Love Notes qui se vendit à plus d'un million d'exemplaires. Après tant de succès, le groupe participa logiquement au Kôhaku Utagassen.
C'est l'apogée de la popularité du groupe, qui rallie alors à lui de nombreux fans qui lui resteront fidèles, lui garantissant toujours un minimum de succès quoi qu'il sorte. Et des singles, il en sort deux ou trois par an, ainsi que les albums correspondants parmi lesquels on peut citer A Cappella (2002), qui comme son nom l'indique ne comporte que des chansons interprétées ainsi et G10, compilation des meilleures chansons sorties de leurs débuts à sa sortie (soit de 1994 à 2004, sélectionnées par vote) qui célébrait leur dixième anniversaire. Début 2005, le groupe sort un remake du tout premier album, Down to Street.
En avril 2006, le groupe participa à un autre groupe nommé Gosperats qui produisait un son assez jazzy, avec plusieurs membres du groupe Rats&Star. Dans ce groupe, les chanteurs portaient du maquillage ("blackface") pour les faire « ressembler » à des noirs américains, geste qui, semble-t-il, choqua beaucoup de fans occidentaux. Il ne s'agit cependant que d'un projet parallèle et le groupe original continue tranquillement son chemin et durant l'été 2006 sortira le single Hitotsuji no kiseki / Kaze wo tsukamaete qui fut bien accueilli par le public.
Leur talent est unanimement reconnu dans la profession, ils sont même demandés pour composer des chansons à d'autres artistes, voire chanter à leurs côtés ou encore produire. D'un autre côté, il ne faut pas s'attendre à beaucoup de surprises dans le style, qui n'a quasiment pas changé depuis une décennie. Mais le talent de ces interprètes et compositeurs est tel que l'on serait bien rabat-joie de se plaindre.
