En 1987 Matsutani Ken (g) decide dejar su banda White Heaven para formar un nuevo grupo. La primera formación de Marble Sheep incluía a muchos de los miembros de White Heaven que pronto dejaron la nueva banda. En sus primeros años grabaron varias maquetas, y pese a todo eran bastante desconocidos. Su primer album con el sello ALCHEMY RECORDS, con quien también trabaja la superestrella de Japan Noise Masonna, y que tubo a bandas como Angelin Heavy Syrup bajo contrato en la decada de los 90's.
Marble Sheep ganó algo de popularidad; pero poco después el único miembro que quedaba de la formación original era Ken. En 1992 CAPTAIN TRIP, (sello del cual Ken es director ahora) fue utilizado por primera vez, entonces era dirigido por Souichiro Nakamura (White Heaven). Al año siguiente, Marby, la mascota de la banda, creada por ellos mismos, hace su aparición, enamorando a la audiencia; desde entonces salía en casi todos sus directos. Aunque bastante famosos, el grupo se mantuvo bastante inactivo entre 1995 y 1999. Tan solo algunos conciertos y algún que otro disco.
En 1999 Ken se convierte en director de CAPTAIN TRIP y Marble Sheep retoma sus actividades , posteriormente, adquiere mayor popularidad que antes. Ese mismo año, todos los integrantes eran nuevos salvo Ken. Y en aquella época Miyazaki Rie entró en la banda y se ocupó del papel de Marby. Al principio era únicamente su mascota, pero a partir de 2000 comenzó a tocar la guitarra con el grupo. Un año después se convirtió en bajista. Hoy en día es la integrante más antigua, después de Ken, porque el resto de la formación cambia regularmente.
Sin embargo, dejar el grupo no significa que nunca se pueda volver. La mayoría de los miembros han formado parte de la historia de Marble Sheep en distintas temporadas, algunas veces por un solo año para marcharse al siguiente.
Dos de los actuales integrantes del grupo cumplen con dicho historial: Brown Nose tocó entre 2001 y 2002, y Arakawa Taro estuvo en activo entre 2002 y 2004. En el 2002, la banda tocó en un festival alemán, en él conocieron al grupo alemán de rock psicodélico Guru Guru, quienes ahora publican sus discos en Japón bajo el sello CAPTAIN TRIP.
En 2003 Marble Sheep firmó con la discográfica alemana FÜNFUNDVIERZIG, que puso sus álbumes a disposición de sus fans europeos. En 2004 la banda organizó un evento en Japón donde participó otro grupo alemán, Damo Suzuki Network. Y aunque anunciaron que realizarían una gira europea ese mismo año, se pospuso.
El año siguiente fue relativamente tranquilo para el grupo. El único hecho destacable fue la grabación de The Gate of a heavenly Body que salió a la venta en Alemania pero no en Japón.
En 2006 la banda recuperó su buena forma y realizó su primera gira europea. Durante el mes de marzo tocaron junto al grupo alemán Drive By Shooting por Alemania, Suiza y Dinamarca.
Para esta gira reclutaron a un Segundo batería, Sawada Morihide que es también miembro del grupo experimental Yozigenn. Ya que la gira fue un auténtico éxito decidieron volver a Alemania, y así lo hicieron, tras su primer concierto en Corea volvieron a tocar en tierras germanas en septiembre de 2006 .
