В 1987 году Matsutani Ken (гитара) решает уйти из группы White Heaven, чтобы собрать свою собственную. Первоначально в состав Marble Sheep входили несколько бывших участников White Heaven, которые вскоре ушли из молодой группы. В первые несколько лет своего существования музыканты записали пару демо, но по-прежнему оставались неизвестными. В 1990-м их первый альбом выпустила компания Alchemy Records, принадлежавшая японской суперзвезде Masonna. На ней записывались и такая группа, как Angel’in Heavy Syrup.
Marble Sheep завоевали некоторую популярность, но из-за постоянной смены состава Ken остался единственным из основателей команды. В 1992 году группа впервые работала с лейблом Captain Trip, нынешним менеджером которой сейчас является сам Ken, в то время им был Souichiro Nakamura, участник White Heaven. Год спустя зрителям представили Marby, который стал талисманом и официальным участником группы. Он очень понравился всем поклонникам и поэтому стал появляться на каждом концерте. Хотя команда стала уже довольно известной, она была неактивна с 1995-го по 1999-й. За это время музыканты дали всего несколько концертов, а дисков выпустили и того меньше.
В 1999-м Ken становится менеджером Captain Trip; Marble Sheep возвращаются на сцену и становятся еще популярнее, чем прежде. В этом же году собрался абсолютно новый состав группы, Ken остался единственным «оригинальным» участником. В это время к ним присоединяется Miyazaki Rie, взявшая на себя роль Marby. Сначала она просто изображала талисман, а в 2000 году стала играть на гитаре. Год спустя она сменила электрогитару на бас, но продолжала быть Marby. На сегодняшний день она – одна из самых опытных музыкантов группы, после Ken’а, разумеется, ведь остальной состав регулярно меняется.
Но раз ты ушел из группы, это не значит, что тебе нельзя вернуться! За всю историю Marble Sheep большинство участников не раз возвращались назад. Иногда бывало, что музыкант возвращался, а на следующий год снова уходил.
У двух нынешних участников именно такая история: Brown Nose играл в 2001-2002 годах, а Arakawa Taro – с 2002-го по 2004-й. В 2002-м группа отыграла на немецком фестивале, где они познакомились с немецкой командой Guru Guru, которые стали издавать свои диски в Японии под лейблом Captain Trip.
В 2003 году Marble Sheep подписали контракт с немецким лейблом fünfundvierzig, благодаря чему европейские поклонники получили возможность покупать диски группы. В 2004 году они устроили в Японии концерт, выступить на котором пригласили еще одну немецкую команду - Damo Suzuki Network. В этом же году Marble Sheep планировали отыграть европейский тур, однако он был отменен.
Следующий год прошел для группы довольно спокойно. Единственным интересным событием стал европейский релиз The Gate of a heavenly Body. В Японии эта запись так и не вышла.
В 2006-м группа в очередной раз вернулась на сцену и отыграла первый тур за пределами Японии. В марте они дали несколько концертов в Германии вместе с немецкой командой Drive By Shooting. Они побывали в Германии, Швейцарии и Дании.
Для этого тура они пригласили второго ударника Sawada Morihide, который является участником экспериментальной группы Yozigenn. Тур прошел с оглушительным успехом, и группа решила вернуться в Германию, что и она сделала, предварительно отыграв первый концерт в Корее.
