En 1991 varios estudiantes de la Universidad de Waseda, todos miembros del "Street Corner Symphony", un club de canto a capella, decidieron formar su propia banda. En Agosto de 1994, su primer mini-album, Down to Street, fue puesto a la venta por File Records. Todo empezó a pasar luego de esto y en cuanto se hicieron unos cambios en la formación, Ki/oon Records lanzó el primer single de la banda titulado Promise en diciembre del mismo año. Esta canción era muy representativa del estilo de The Gospellers caracterizado por tener un suave fondo musical con los cantos a capella.
Después, la banda lanzaría varios singles, en promedio tres o cuatro por año, y a pesar de la buena calidad de sus canciones, obtuvieron críticas en lugar de clamor popular. En diciembre de 1998, la espléndida balada Atarashii Sekai vio la luz dando nuevos aires al carácter de la banda: A partir de ese momento The Gospellers enfocó su música al R&B lento, dejando de lado un poco las armonías y las voces a capella. Se puede decir que este cambio vino en el momento justo.
El single número catorce de la banda, Towani que fue lanzado en el 2000, llevó a la banda al éxito. Towani era una balada y se hizo muy conocida tras vender estrepitosas cantidades. Gracias a esto su sexto álbum, Soul Serenade tuvo un éxito parecido. El siguiente lanzamiendo de la banda Kokuhaku, con un sonido moderno y ritmo rápido no tuvo el mismo éxito que sus predecesores. Con el siguiente, un single llamado Hitori, la banda vuelve a sus raíces con fuertes cantos a capella. Sorprendentemente el éxito fue inmediato y la canción alcanzó el tercer lugar de los charts de Oricon, esta vez fue la primera en que una canción a capella entrara en el Top 3.
El 6 de Junio del 2001, la banda lanza un recopilatorio de sus baladas denominado Love Notes, que vendió más de un millón de copias. Un año después, la banda fue invitada a formar parte del evento anual Kôhaku Utagassen
En este momento la banda alcanzó la cúspide de su popularidad, ganándose el apoyo de numerosos fans que siempre guardarían lealtad a la banda y garantizarían como mínimo un pequeño éxito para cada lanzamiento. La banda trabajaría sin descanso, con 3 o 2 singles por año y entre ellos algunos álbumes, como A Capella (2002), el cual como indica su nombre solo contiene canciones a capella, o G10, una compilación de sus mejores canciones de la primera década de su carrera seleccionadas por el voto de los fans. A principios del 2005 se lanzó una versión remasterizada de su álbum, Down to Street.
En abril del 2006, la banda forma parte de un proyecto con algunos miembros de las bandas Rats&Star, denominada Gosperats la cual tenía mucho más sonido jazz. En esta banda, los cantantes llevaban un maquillaje especial ("carasnegras") para hacerlos ver como americanos negros, un hecho que aparentemente dejo en shock a mucha gente incluso a los fans occidentales. Fue solo un proyecto alternativo y desde entonces la banda continuo y lanzó el single Hitotsuji no Kiseki/Kaze wo Tsukamaete, que recibió una entusiasta bienvenida por el público.
Su talento es reconocido universalmente e incluso se les pide escribir canciones para otros artistas, colaboraciones o incluso que produzcan. A pesar que su estilo no ha evolucionado en una década, el talento de estos intérpretes y compositores es tan profundo que no dan alternativa a quejas.
