A banda foi criada em Tóquio em 1990, apesar de algumas fontes afirmarem que o real início da banda aconteceu em 1989. A formação inicial consistia de três amigos de escola: Mirai Kawashima (baixo e vocal), Satoshi Fujinami (guitarra) e Kazuki (bateria). No início eles tocavam covers de suas bandas favoritas, mas em junho de 1990 lançaram sua primeira demo, com material original. Pouco tempo depois, Kazuki percebeu que suas idéias para a banda era muito diferente das idéias dos outros membros e saiu. Apesar disso, no final do ano o Sigh lançou sua segunda demo. Mirai ficou com os vocais e tocou teclado, baixo e piano, enquanto Satoshi ficou com as guitarras e a bateria.
Após um período de silêncio da banda, em 1991 sua segunda demo foi re-lançada. Eles gastaram mais dinheiro com a promoção do que ganharam, mas queriam mais reconhecimento, então o aspecto financeiro não foi um problema. Ainda assim, foi apenas em 1992, quando seu primeiro EP, Requiem for Fools, foi lançado, que eles receberam alguma atenção. Mirai escreveu para várias bandas e gravadoras internacionais e, como resultado, Euronymous (da lendária banda Mayhem) se interessou pela banda e os trouxe para sua própria gravadora, Deathlike Silence Productions.
No verão de 1992, Shinichi Ishikawa se tornou o guitarrista e Satoshi foi para a bateria. Em 1993 eles lançaram seu primeiro full álbum, Scorn Defeat. Devido à morte de Euronymous o álbum foi lançado pela Voice of Wonder, que comprou a DSP. Porém, a VoW falhou na promoção da banda e logo eles se mudaram para a British Cacophonous, mas, mais tarde, se arrependeram da decisão. Em 1994 o Sigh participou de uma coletânea organizada pela lenda japonesa Sabbat, que trouxe os melhores atos underground do Japão da época. Mais tarde no mesmo ano eles ainda lançaram um álbum em conjunto com a banda grega Kawir.
Em 1995 seu segundo álbum foi lançado. Ele apresentou uma evolução no som da banda; havia mais teclados e sintetizadores. Mais tarde uma gravadora alemã lançou um bootleg de seu show de 1994, no qual eles apresentaram covers do Venom, e, em 1996, um outro bootleg foi lançado. Este incluiu gravações de diversos shows de 1992 a 1996, tanto com músicas próprias da banda como covers.
Em 1997 eles planejaram lançar um álbum com a banda japonesa Abigail, mas a gravadora não permitiu. Eles também planejaram um lançamento com a banda suíça Vergelmer, mas isso também não deu certo. O material que o Sigh gravou nesse período foi lançado em um mini-CD intitulado Ghastly Funeral Theatre.
Mais tarde em 1997 eles lançaram seu terceiro álbum, Hail Horror Hail. O tema do álbum foi filmes de terror sem figuras. Não apenas o som, mas também a imagem da banda surpreenderam as pessoas. O álbum foi escolhido pela revista Terrorizer com um dos mais importantes da década de 1990.
Insatisfação com a gravadora e sua promoção pobre levou a banda a procurar uma nova. Porém, eles ainda estavam presos ao contrato e teriam de gravar mais um álbum na Cacophonous. Então, em 1999 o Sigh lançou Scenario IV: Dread Dreams. Desta vez o tema explorado foram os sonhos. Houve mais uma mudança no som, com mais guitarras presentes do que no lançamento anterior. Ainda em 1999, Mirai e Shinichi se uniram a Yasuyuki e Youhei, do Abigail, para formar um projeto paralelo intitulado Cut Throat. A intenção era que o projeto de trash metal fosse apenas para diversão, mas eles acabaram lançando um álbum antes do fim do ano.
Tendo cumprido seu contrato com a Cacophonous, eles gravaram uma nova demo e enviaram a várias gravadoras. A demo chamou a atenção da Century Media Records uma das maiores gravadoras de metal do mundo. Um novo album, intitulado Imaginary Sonicscape, foi lançado em julho de 2001. O álbum apresentou um som mais psicodélico e para muitos foi difícil acreditar que era a mesma banda. Foi dito que, com equipamento dos anos 70, espírito dos anos 80 e tecnologia dos anos 90, eles criaram a música do século XXI.
Em 2001, Mirai, junto com Killjoy, do Necrophagia, se envolveram em um outro projeto paralelo chamado Enoch. No mesmo ano o Sigh participou de um álbum tributo a John Coltrane e escreveu músicas para o MMORPG Adellion.
Graças ao lançamento de Imaginary Sonicscape por uma grande gravadora e ao seu som mais acessível, o Sigh ganhou muitos fãs, o que resultou em uma turnê nos Estados Unidos em 2002. Como o número de instrumentos era maior que o número de membros da banda, Yasuyuki Suzuki, do Abigail, os ajudou na turnê. Em 2002 Mirai entrou oficialmente para o Necrophagia, e um ano depois o Sigh gravou um álbum com a banda. No mesmo ano eles participaram de um álbum tributo ao Hawkwind.
Em 2004 um novo baterista, Junichi Harashima, se juntou à banda e Satoshi passou a tocar baixo. Com a nova formação eles gravaram seu sexto álbum, Gallows Gallery. Apesar de ter sido planejado para ser lançado em 2003, ele chegou às lojas apenas no final de 2005. Um dos motivos foi que a banda se concentrou na turnê pelos Estados Unidos. Outro foi o fato que, durante as gravações, eles utilizaram técnicas de armas sônicas da Segunda Guerra Mundial. Mirai chegou a ser hospitalizado. A Century Media não ficou feliz com isso, assim como não estava feliz pelo Sigh estar se afastando cada vez mais de suas raízes black metal. A banda também não estava feliz com as ações da gravadora, e assinou com a Baphomet/Candlelight para lançar o álbum. Vocais limpos e a influência do heavy metal dos anos 80 assinalaram mais uma mudança em seu som.
Em 2005 Mirai esteve envolvido em lançamentos de vários projetos paralelos e bandas, incluindo o Abigail. Junto com Shane Embury do Napalm Death, ele deu início a mais um projeto, chamado Blood from the Soul.
Em 2007, a banda apresentou um novo membro, o saxofonista Mikannibal, que também faz os backing vocals. O Sigh lançou o álbum Hangman’s Hymn no dia 12 de junho, pela THE END RECORDS e, mais tarde, participou da comemoração do aniversário de quinze anos do Abigail no dia 25 de agosto. No mesmo ano, a banda relançou o álbum Gallows Gallery nos Estados Unidos, remasterizado por James Murphy (Testament/Death).
Em 2008, o Sigh tem uma turnê programada para setembro, que passará pelos Estados Unidos e Canadá.