A CalorZe foi criada em 1 de janeiro de 2004, por Yuu (vocal) e Masuo (guitarra). Pouco depois, Mayuka(baixo) entrou na banda. Apesar de a formação ter trocado muitas vezes, estes três eram o 'centro' da banda.
Eles fizeram o primeiro show no dia 20 de fevereiro, no Takadanobaba Area. No mesmo dia a compilação "Hysteric Media Zone V.A. 5" foi lançada, na qual figuraram duas de suas músicas. Uma pequena turnê se seguiu, e a banda tocou em diversos eventos em várias casas de shows.
Ao vivo eles tocavam com dois integrantes de apoio, um guitarrista e um baterista. Porém, o guitarrista, Takami, parou de apoiá-los em 5 de maio, depois do show no Meguro Rock May Kan.
Mais tarde em meio, Kaede uniu-se à banda como segundo guitarrista. Parece que Natsuki juntou-se a eles um pouco depois e tornou-se o baterista.
Depois de quase um ano de existência, a banda lançou seu primeiro maxi single, em 22 de dezembro, intitulado "Misshitsu parafiria".
2005 pareceu começar bem para o grupo. Eles fizeram muitos shows, mas em 27 de março, Kaede e Natsuki saíram da banda. No entanto, os três integrantes restantes continuaram, voltando à formação inicial. Em maio o guitarrista Youta foi recrutado para ser guitarrista de apoio.
No entanto, um pouco mais tarde, eles decidiram terminar a banda e fizeram seu último show em 31 de julho, no Takadanobaba Area.
Kaede foi para o Gossip, mas não ficou com eles muito tempo também. Ele mudou seu nome para Shun e entrou no Vidoll para substituir um dos dois guitarristas que haviam saído da banda. Natsuki também trocou de nome e, como Natsu, juntou-se à banda Zeek.
