Depois do término de sua banda de thrash metal SALEM, Mikami Tatsu começou seu projeto de doom metal, que ele nomeou Church of Misery e do qual se tornou baixista. Oficialmente, a banda começou suas atividades em fevereiro de 1996, mas Tatsu começou seu trabalho cerca de meio ano antes. Para as outras posições ele chamou Asaeda Kazuhiro (vocal), Nishimura Tomohiro (guitarra) e Shimizu Hideki (bateria). Depois de seu primeiro show em 18 de fevereiro, a banda foi a estúdio para trabalhar em seu primeiro álbum, que eles queriam produzir sozinhos. Porém, por razões desconhecidas a banda ficou inativa e desapareceu por algum tempo.
Em 1997 suas músicas gravadas apareceram nos EUA sob o nome "Volume 1", que foi declarado lançamento oficial. Mas logo revelou-se que o álbum publicado pela Doom Records nada mais era que um bootleg. Um ano depois a banda voltou aos palcos e ofereceu aos fãs quatro gravações, que foram lançadas durante o ano por diferentes selos ao redor do mundo. Eles fizeram isso por causa dos custos de produção muito caros no Japão. Um destes era uma demo ao vivo gravada durante seu show conjunto com o Millarca, outra banda japonesa de doom metal. Também havia um novo vocalista, Chou Nobukazu, que uniu-se à banda durante seu período de hiatus.
Em 1999 eles dividiram um álbum com seus colegas britânicos do Iron Monkey, que foi lançado pelo selo americano Man's Ruin Records. Graças a esta cooperação internacional com vários selos eles conseguiram figurar em alguns CDs omnibus italianos. Eles tornaram-se mais famosos, mas ao que parece, a banda parou novamente e mudou de vocalista e, pela primeira vez, de baterista. Narita Junji tornou-se sucessor de Shimizu atrás dos tambores. O novo integrante no microfone foi Negishi Yoshiaki, que cantava no EP Master of Brutality.
Para seu lançamento seguinte, que foi publicado por um selo finlandês, a formação mudou novamente. O guitarrista Nishimura deixou a banda e foi substituído por Takenori Hoshi. Novamente, a formação não durou nem um ano, pois em janeiro de 2003 a banda deu a notícia do vocalista Negishi estar deixando a banda. Eles sabiam que demoraria um tempo até encontrarem um novo vocal, então eles entraram em hiatus novamente. Tatsu usou estes meses para iniciar vários projetos, como o Sonic Flowers ou The G.A.T.E.S, cujo ex vocalista do Church of Misery Negishi também era parte. O último projeto terminou depois de um show em 2003. No mesmo ano, eles lançaram um álbum conjunto com o Acrimony, que continha diversas faixas do início da banda, gravadas quando Asaeda ainda era o vocalista do Church of Misery.
Em agosto a banda achou um novo vocal: Fukazawa Hideki, ex-vocalista da banda punk Bleed for Pain. Ele demonstrou suas habilidades no álbum "The Second Coming" que foi lançado em 2004 (seu primeiro lançamento japonês). No mesmo ano uma coletânea foi lançada, contendo cerca de 100 minutos de faixas que eram, na maioria, dos antigos lançamentos estrangeiros da banda. Em 2005 eles fizeram sua primeira turnê na Europa, passando pela Alemanha, França e Reino Unido. De volta ao Japão, Tatsu reavivou seu projeto Sonic Flower e reuniu o The G.A.T.E.S (God Admires The Evil Soul - "Deus admira a alma má"). Hideki também iniciou um projeto paralelo, chamado S.c.U.M (Society Confronts Unknown Madness - "a sociedade enfrenta uma loucura desconhecida"), onde ele toca bateria. No entanto, o Church of Misery não parou suas atividades.
Em 2006 a banda anunciou em seu selo DiwPhalanx que Hoshi (guitarra) estaria deixando o grupo em abril. Em seu lugar entrou o australiano Tom 'Satan' Sutton. Ainda em 2006 a banda lançou seu primeiro DVD "Live in Red, Eurotour 2005" e um split album com a banda Deer Creek. No ano seguinte a banda lançou o LP "VOL. 1", com a capa claramente inspirada no álbum, "Black Sabbath Vol. 4", clássico do Black Sabbath. Em 2008 a banda se prepara para lançar o álbum, "Houses of the Unnholy".
