Em 1987, Matsutani Ken (guitarra) decidiu deixar sua banda, White Heaven, porque queria formar uma nova banda. A primeira formação do Marble Sheep consistia de vários ex-membros do White Heaven. Nos primeiros anos eles gravaram algumas demos, mas permaneceram desconhecidos. Seu primeiro álbum foi lançado pela Alchemy Records, a gravadora do superstar Noise japonês Masonna, que contava com bandas como Angel’in Heavy Syrup em 1990.
O Marble Sheep ganhou alguma popularidade na cena, mas, após algumas mudanças de membros, Ken acabou sendo o único da formação original. Em 1992, a Captain Trip (gravadora da qual Ken é gerente hoje) foi usada pela primeira vez, na época sob o gerenciamento de Souichiro Nakamura (White Heaven). Um ano depois, Marby, o mascote da banda e membro oficial, foi apresentado. O público o adorou, e desde então ele passou a aparecer em quase todos os shows. Apesar de famosa, a banda permaneceu quase inativa entre 1995 e 1999. Nesse período eles fizeram alguns shows e lançaram apenas alguns CDs.
Em 1999, Ken se tornou o gerente da Captain Trip e o Marble Sheep voltou à ativa, tornando-se mais popular do que nos anos anteriores. No mesmo ano, houve mais uma mudança de membros, com Ken como o único membro original. Foi então que Miyazaki Rie entrou na banda e ficou com o papel de Marby. No início ela só interpretava o mascote, mas, em 2000, começou a tocar guitarra. Um ano depois, ela passou para o baixo, mas continuou como Marby. Hoje é ela quem tem mais experiência na banda, depois de Ken, já que os outros membros mudam regularmente.
Porém, mesmo que um membro deixe a banda, isso não significa que ele não pode mais voltar. A maior parte dos membros ao longo da história do Marble Sheep fez parte da banda várias vezes, alguns deles ficando apenas um ano, saindo e voltando no ano seguinte. Dois membros que tiveram essa história foram Brown Nose, que tocou entre 2001 e 2002, e Arakawa Taro, ativo entre 2002 e 2004. Em 2002, a banda se apresentou em um festival alemão, onde conheceram a banda de alemã de rock psicodélico Guru Guru, que agora lança seus CDs no Japão pela Captain Trip.
Em 2003, o Marble Sheep assinou um contrato com a gravadora alemã fünfundvierzig, que passou a lançar seus álbuns na Europa. Em 2004, a banda organizou mais um evento no Japão no qual se apresentou mais uma banda alemã, a Damo Suzuki Network. Apesar de o Marble Sheep ter anunciado que uma turnê européia estava planejada para o mesmo ano, ela foi adiada.
O ano seguinte foi calmo. O único fato interessante foi que „The Gate of a heavenly Body“ foi lançado na Europa sem ter sido lançado no Japão.
Em 2006, o Marble Sheep fez sua primeira turnê fora do Japão, na Europa. Em março eles fizeram diversas apresentações com a banda alemã Drive By Shooting e passaram pela Alemanha, Suíça e Dinamarca. Para essa turnê, eles recrutaram um segundo baterista, Sawada Morihide, membro da banda experimental Yozigenn. Devido ao sucesso desses shows, a banda decidiu voltar para a Alemanha após seu primeiro show na Coréia, também em 2006.
Depois de dois anos sem novos lançamentos, o Marble Sheep lançou o single HOLIDAY, no dia 1° de março de 2007. Desde então, a banda lançou mais quatro álbuns e um mini-álbum, sendo o mais recente deles MARBLE SHEEP, que chegou às lojas em 2009.
