SALEM:n lopetettua, Mikami Tatsu aloitti uuden metalliprojektin, jonka hän nimesi Church of Miseryksi ja ryhtyi bändin basistiksi. Virallisesti bändi aloitti aktiviteettinsa helmikuussa 1996, mutta Tatsu aloitti työskentelyn jo noin puoli vuotta aikaisemmin. Asaeda Kazuhirosta tuli vokalisti, Nishimura Tomohirosta kitaristi ja Shimizu Hidekistä rumpali. Bändi piti ensimmäisen keikkansa 18. helmikuuta ja tämän jälkeen he menivät studiolla nauhoittamaan ensimmäisen albuminsa, jonka he halusivat julkaista itse. Tuntemattomasta syystä kuitenkin, bändi meni tauolle ja katosi joksikin aikaa.
Vuonna 1997 heidän nauhoitetut kappaleensa ilmestyivät Amerikassa Volume 1 -nimen alla. Pian kävi kuitenkin ilmi, että Doom Records:n julkaisema albumi oli pelkkää mainostusta. Vuotta myöhemmin bändi palasi lavalle ja tarjosi faneilleen neljä levyä, jotka oltiin julkaistu vuoden aikana eri levy-yhtiöillä ympäri maailmaa. Tämän he tekivät Japanin kalliin levyntuottamisen vuoksi. Yksi nauhoituksista oli livekasetti twoman-konsertista Millarcan kanssa, joka on toinen japanilainen raskaanmetallinyhtye. Lisäksi heillä oli uusi laulaja: Chou Nobukazu tuli osaksi bändiä heidän taukonsa jälkeen.
Vuonna 1999 he tekivät yhteisalbumin heidän brittiläisten kollegoidensa Iron Monkey:n kanssa. Se julkaistiin englantilaisella Mans Ruin Records -levy-yhtiöllä. Maailmanlaajuisen suosion ja yhteistöiden avulla heidät nähtiin myös muutamilla italialaisilla kokoelmaalbumeilla. Bändi saavutti entistä enemmän suosiota, mutta he menivät taas tauolle ja vaihtoivat vokalistinsa sekä rumpalinsa. Narita Junji / Shimizu meni rumpusetin taakse, kun taas Negishi Yoshiakista tehtiin laulaja.
Heidän seuraava julkaisunsa julkaisi suomalainen levy-yhtiö, mutta kokoonpano vaihtui taas. Nishimura lähti bändistä ja hänet korvasi Takenori Hoshi. Tämäkään ryhmä ei pitänyt yhtä edes vuotta, sillä tammikuussa 2003 bändi ilmoitti, että Negishi jättäisi bändin. He tiesivät, että kestäisi kauan löytää taas uusi vokalisti, joten he menivät tauolle, näin vaihteeksi. Tatsu käytti nämä kuukaudet hyödykseen ja aloitti useita projekteja kuten Sonic Flower tai The G.A.T.E.S., johon myös CoMs:n aikaisempi laulaja Negishi otti osaa. Toinen projekti lopetti toimintansa yhden konsertin jälkeen, joka pidettiin keväällä 2003. Samana vuonna he julkaisivat yhteisalbumin Acrimonyn kanssa. Julkaisu sisälsi useita kappaleita bändin alkuajoista lähtien, silloin kun Asaeda oli vielä Church of Miseryn vokalisti.
Elokuussa bändi löysi uuden vokalistinsa. Fukazawa Hideki oli aikaisemmin Bleed for Pain -punkbändissä. Hän näytti lahjakkuutensa The Second Coming -albumilla, joka ilmestyi vuonna 2004. Kyseessä oli ensimmäinen japanilainen julkaisu. Samana vuonna heiltä ilmestyi best of albumi, joka sisälsi yli 100 minuuttia musiikkia. Vuonna 2005 he tekivät ensimmäisen kiertueensa Euroopassa. Bändi soitti Saksassa, Ranskassa sekä Isossa-Britanniassa. Palattuaan Japaniin Tatsu uudelleenherätti Sonic Flowerin ja The G.A.T.E.S.:n. Myös Hideki aloitti sivuprojektinsa nimeltään S.c.U.M., jossa hän soitti rumpuja. Kuitenkaan CoM ei lopettanut aktiivista toimintaansa vaan ilmoitti kotisivuillaan halustaan esiintyä Euroopassa uudestaan vuonna 2006.
Keväällä 2006 bändi ilmoitti DiwPhalanx -levy-yhtiönsä kautta, että kitaristi Hoshi lähtisi bändistä. Bändi onkin siitä lähtien etsinyt uutta kitaristia korvaamaan hänet.
