Después de la separación de su banda trash metal SALEM, Mikami Tatsu comenzó su proyecto doom metal, el cual llamó Church of Misery donde sería el bajista. Oficialmente, la banda comenzó sus actividades en Febrero de 1996, pero Tatsu comenzó su trabajo casi medio año antes. Para los demás integrantes, recurrió a Asaeda Kazuhiro (voz), Nishimura Tomohiro (guitarra) y Shizumu Hideki (batería). Después de su primera presentación el 18 de Febrero, la banda fue al estudio a trabajar en su primer álbum que querían lanzar por si mismos. Pero por razones desconocidas la banda se colció inactiva y desapareció por un tiempo.
En 1997 sus canciones grabadas aparecieron en América bajo el nombre "Volume 1", que fue titulado como un lanzamiento oficial. Pero muy pronto fue revelado que el álbum publicitado por Doom Records no era más que mercadería ilegal. Un año más tarde la banda volvió a los escenarios y ofreció a sus fans cuatro grabaciones, las cuales fueron lanzadas todo el año por diferentes sellos por todo el mundo. Hicieron eso debido a la excesiva producción en Japón. Unas de esas grabaciones fue un demo-tape en vivo grabado durante el twoman con Millarca, otra banda Japonesa de doom metal. También hubo un nuevo vocalista, Chou Nobuzaku, quien se convirtió en parte de la banda durante su tiempo separados.
En 1999 hicieron un coupling CD con sus colegas británicos Iron Monkey, el cual fue lanzado bajo el sello Americano Man's Ruin Records. Gracias a sus colaboraciones con diferentes sellos, pudieron dedicarse a aparecer en algunos álbumes omnibus Italianos. Se volvieron más y más famosos, pero por lo visto la banda volvió a tener una pausa y nuevamente cambiaron a su vocalista y por primera vez a su baterista. Narita Junji se convirtió en el sucesor de Shizumu detrás de los tambores. El nuevo integrante tras el microfono era Negishi Yoshiaki, quien primero cantó en el "Master of Brutality", como también muchos CDs presentados en Estados Unidos y solo podían ser comprados por importación desde Japón.
Para sus siguientes lanzamientos que fueron producidos por un sello Finlandés, la formación cambió nuevamente. El guitarrista Nishimura dejó la banda y fue reemplazado por Takenori Hoshi. De nuevo la formación no duró más de un año, ya que en Enero de 2003 la banda dió la noticia que su vocalista Negishi dejaría la banda. Sabían que encontrar un nuevo vocalista les llevaría tiempo, por lo que estuvieron en pausa nuevamente. Tatsu usó esos meses para comenzar muchos proyectos, tales como Sonic Flower o The G.A.T.E.S., donde el antiguo vocalista de Churxh of Misery también participó. El último proyecto se separó en un concierto que fue durante la primavera de 2003. En el mismo año, lanzaron un coupling CD con Acrimony que contenía muchas canciones de los principios de la banda, grabados cuanso Asaeda aún era vocalista de Church of Misery.
En Agosto la banda encontró un vocalista: Fukazawa Hideki, antiguo vocalista de la banda punk Bleed for Pain. Él demostró sus ahbilidades en el álbum "The second Coming" que fue lanzado en 2004, su primer lanzamiento Japonés. El mismo año lanzaron un Best Of, que contenía cerca de 100 minutos en canciones, las cuales habían sido lanzadas anteriormente en el extranjero. En 2005 tuvieron su primera gira en Europa, visitando Alemania, Francia y Londres, y tocando cuatro conciertos en cada una de las ciudades. De vuelta en Japón, Tatsu volvió con su proyecto Sonic Flower y reunió a The G.A.T.ES. (The God Admires The Evil Soul). Hideki también pareció haber formado su proyecto llamado S.c.U.M. (Society Confronts Unknown Madness), donde tocaba la batería. Como sea, Church of Misery no había detenido sus actividades y anunciaron en su sitio oficial que querían visitar Europa nuevamente en 2006.
En la primavera de 2006 la banda anunció bajo su sello DiwPhalanx que Hoshi (guitarra) dejaría la banda después de sus conciertos en Abril. Desde que el dejó la banda, han estado buscando su reemplazo.
