GHOST fue creado en febrero de 2004. La formación original consistía en Kousei (ex-Kress Devia) como vocalista, Hisui (ex-Cryella) y Syo-ji como guitarristas y Rin (ex-Lilith+Noir, ex-DEViL KiTTY) en la batería. En mayo de 2004, el bajista Zero (ex-Kar'MariA, ex-Girotin) se unió al grupo, entonces la formación estuvo completa. El grupo comenzó sus actividades oficiales el 15 de diciembre, cuando tuvieron en Takadanobaba AREA su primer concierto. El mismo dia, lanzaron su primer single "higyaku no shiro", el cual sorpresivamente mostraba un sonido maduro de un grupo que recién había comenzado. Durante diciembre tocaron en mas conciertos en varios lugares de Tokio.
El año 2005 comenzó con más eventos, y el grupo a menudo volvía al lugar donde tuvieron su debut. El 10 de mayo participaron en un evento junto a Calmando Qual, SIN y Gimikku. También fue la fecha en que lanzaron su segundo single, "kousouku no kan".
A mitad de año, Syo~ji y Rin abandonaron al grupo. Afortunadamente encontraron a nuevos integrantes bastante rápido, en julio se unio al grupo el baterista Yu (ex-Delta Ark), y en agosto el guitarrista Yura (ex-DEViL KiTTY) completaba nuevamente la formación. Lamentablemente, el 31 de noviembre Yu abandonó al grupo, y el siguiente medio año GHOST continuó sin un baterista oficial.
Su partida no desanimó al resto de los integrantes, y el 15 de diciembre realizaron en Takadanobaba AREA su primer concierto one-man, llamado Theater of Haunted Carnival. Antes de que pasara una semana lanzaron su primer mini-álbum, "Bi-zarre Collector".
El 10 de mayo de 2006 lanzaron un nuevo single, "For Dear". Trajo una novedad a su discografía, ya que el CD incluía un DVD con el primer PV del grupo. Pocos días después tuvieron su segundo one-man, durante el que presentaron a los fans a su nuevo baterista, Kisara. Poco a poco, la popularidad del grupo comenzó a crecer, y antes de que se acabara el año tuvieron un nuevo one-man y pocos días después, el 20 de diciembre lanzaron finalmente su primer álbum completo, "tsumi to batsu".
En febrero de 2007 lanzaron su primer DVD, el cual contenía PV y para abril se programó un nuevo concierto one-man.
