Formado em 1992, o PENICILLIN original teve GISHO nos vocais, Chisato na guitarra, e O-JIRO na bateria. Mais tarde, HAKUEI juntou-se a banda e assumiu o cargo de vocalista, enquanto GISHO tornou-se o baixista. Eles também tiveram por pouco tempo um segundo guitarrista, Shaisuke que mais tarde iria aderir ao Baiser. Ele realizou seu primeiro show no ano de sua formação. Mas em 1993, contudo, o PENICILLIN voltou mais uma vez a ter apenas quatro membros e manteve essa formação por muitos anos.
Seu primeiro lançamento foi um mini-álbum que saiu em 1994 chamado Penicillin Shock. Até ao final do mesmo ano eles lançaram Missing Link, que foi muito mais bem sucedido. Obtendo grande sucesso na cena indie, eles continuaram trabalhando muito bem em 1995, lançando mais dois mini-álbuns e também God of grind, que era basicamente o álbum Penicillin Shock com uma faixa bônus. Em 1996, eles lançaram Indwell, um álbum único por todas as faixas serem instrumentais. Houve um VHS com o mesmo nome que continha um PV para cada uma destas musicas.
1998 foi um grande ano para o PENICILLIN; eles lançaram mais dois álbuns, limelight e Ultimate Velocity, e deixaram alguns de seus truques visuais. Baseada na peça de William Shakespeare, eles também encenaram a Hamlet Rock Opera, que foi lançado em VHS, juntamente com a trilha sonora. Um ano depois, eles lançaram sua primeira coletânea intitulada this is penicillin 1994 ~ 1999.
O novo milênio trouxe mais novos lançamentos, incluindo o álbum Union JAP e uma série de singles. Talvez sem surpresa, foi o seu próximo álbum intitulado simplesmente Singles, que continha todos os singles que a banda tinha anteriormente lançado em sua carreira. Um DVD que compartilhava o mesmo título foi lançado, ao mesmo tempo, contendo seus PVs. Eles terminaram 2001 com outro álbum lançado, o Nuclear Banana, e o single Fukai no Suna.
Apesar de todos os membros do PENICILLIN terem sido envolvidos em projetos solo desde 1996, a banda continuou a promover o lançamento de pelo menos um álbum por ano, para a alegria dos seus fãs. 2004 trouxe Flower circus enquanto 2005 viu duas versões diferentes do hell bound heart , com um DVD contendo PVs. Em 2006, eles lançaram um single na Primavera, Tsuki senko Teru, antes de lançar um outro single, em setembro.
Em 2007, o PENICILLIN abriu o ano com o lançamento de um novo single, Grind Candy e com o anúncio de um show especial, realizado no Dia dos Namorados, para comemorar os seus 15 anos de carreira, no Shibuya O-East. Um novo álbum, Blue Heaven , foi lançado no final de fevereiro, logo depois, a banda entrou em uma pequena turnê. Um mês depois, a banda sofreu uma baixa com a saída do baixista GISHO. Apesar da saída do amigo, os membros restantes decidiram continuar as atividades da banda. Em Setembro, o PENICILLIN lançou uma coletânea chamada PENICILLIN All Time Best 1992-2007 continuando as comemorações de seu 15º aniversário.
Em 2008, a banda continua forte e já planeja novos lançamentos, e apesar de tantos anos da estrada o PENICILLIN não demonstra nenhuma vontade de parar por aí.
