Vuonna 1987 Matsutani Ken (kitara) päätti jättää bändinsä White Heavenin taakseen perustaakseen aivan uuden ryhmän. Marble Sheepin ensimmäinen kokoonpano muodostui suurimmilta osin White Heavenin muista jäsenistä, jäsenten jätettyä bändi yksi kerrallaan. Ensimmäisinä vuosinaan Marble Sheep levytti muutaman demon, mutta pysyi suhteellisen tuntemattomana. Heidän ensimmäisen albuminsa julkaisi Alchemy Records, supertähti Masonnan levy-yhtiö, jolla oli jo sopimuksia bändien, kuten Angelin Heavy Syrupin kanssa vuonna 1990.
Marble Sheep sai hieman lisää kuuluisuutta, mutta bändi koki muutamia jäsenvaihdoksia, joiden jälkeen Ken oli ainut jäljellä oleva jäsen alkuperäisestä kokoonpanosta. Vuonna 1992 Captain Tripiä (levy-yhtiö, jonka managerina Ken nykyisin toimii) käytettiin ensimmäistä kertaa, toimien silloin Souichiro Nakamuran (White Heaven) johdon alaisena. Vuotta myöhemmin Marby, bändin oma maskotti ja samalla virallinen bändin jäsen, otettiin mukaan. Maskottina Marby oli yleisön rakastettu, joten se esiintyi lähes jokaisessa livessä siitä lähtien. Vaikka Marble Sheep oli suhteellisen kuuluisa, oli bändin aktiivisuus melko vähäistä vuosien 1995 ja 1999 välillä. Tuona aikana bändillä oli vain muutama konsertti ja he julkaisivat vielä pienemmän määrän levytyksiä.
Vuonna 1999 Ken nimitettiin Captain Tripin manageriksi ja Marble Sheepistä tuli jälleen aktiivinen: samalla heidän suosionsa kasvoi edellisiin vuosiin verrattuna. Vielä samana vuonna bändi koki todellisen jäsenten vaihdoksen, ja loppujen lopuksi Ken oli ainut alkuperäinen jäsen. Juuri tuona aikana Miyazaki Riestä tuli osa bändiä ja hän otti Marbyn paikan. Nykyisin hänellä on eniten bändikokemusta Kenin jälkeen, muiden bändin jäsenten edelleenkin vaihtuessa vuosien varrella.
Kuitenkaan Marble Sheepistä lähteminen ei tarkoita sitä, etteikö voisi palata takaisin! Suurin osa bändin jäsenistä on palannut useitakin kertoja, jotkut ovat jopa tulleet heti vuoden kuluttua lähtönsä jälkeen, jättäen bändin jälleen toisen vuoden kuluttua.
Kahdella nykyisellä jäsenellä on myös historiaa Marble Sheepissä. Brown Nose soitti bändissä vuodesta 2001 vuoteen 2002 ja Arakawa Taro oli aktiivinen jäsen vuodesta 2002 vuoteen 2004. Vuonna 2002 Marble Sheep soitti saksalaisella festivaalilla, jossa he tapasivat saksalaisen psykedeellisen rockbändin Guru Gurun. Nykyisin Ken julkaisee Guru Gurun CD:t Japanissa Captain Trip levy-yhtiön alla.
Vuonna 2003 Marble Sheep solmi sopimuksen saksalaisen levy-yhtiön fünfundvierzigin kanssa, joka mahdollisti heidän albumiensa saatavuuden eurooppalaisille faneille. Vuonna 2004 bändi järjesti tapahtuman Japanissa, jossa esiintyi myös toinen saksalainen bändi, nimeltä Damo Suzuki Network. Marble Sheep ilmoitti samaisena vuotena lähtevänsä Eurooppaan kiertueelle, mutta suunnitelmat peruttiin.
Seuraavana vuosi oli hiljainen Marble Sheepille. Ainut varteenotettava asia oli heidän albuminsa The Gate of a heavenly Bodyn julkaiseminen Saksassa, mutta ei Japanissa.
Vuonna 2006 bändi palasi vanhoihin kuvoihinsa ja lähti ensimmäiselle Japanin ulkopuoliselle kiertueelleen. Toukokuussa he esiintyivät saksalaisen bändin Drive By Shootingin kanssa Saksassa, Sveitsissä ja Tanskassa.
Tätä nimenomaista kiertuetta varten mukaan otettiin toinen rumpali Sawada Morihide, joka on myös kokeiluomaisen bändin Yozigennin jäsen. Heidän Euroopan kiertueensa oli menestykseikäs, joten he päättivät tulevansa Saksaan uudelleen. Suunnitelmiin kuului paluu Saksaan syyskuussa 2006, jota edelsi bändin ensimmäinen live-esiintyminen Koreassa.
