Formado en 1992, los integrantes originales de Penicillin eran: Gisho como vocalista, Chisato a la guitarra, y O-Jiro como baterista. Luego Hakuei se unió al grupo y tomó la posición de vocalista mientras que Gisho pasaba a ser el bajista. Durante un corto periodo de tiempo tuvieron un segundo guitarrista, Shaisuke que más tarde se uniría a Baiser, y tuvieron su primer concierto en el año de su formación. En 1993, sin embargo, Penicillin cambió su formación de nuevo y quedaron los cuatro miembros que conocemos hoy en día.
Su primer trabajo fue un mini-álbum llamado "Penicillin Shock" que salió en 1994; además a finales de ese año lanzaron "Missing Link", mucho más exitoso que su antecesor. Comenzando a triunfar dentro de la escena indie, siguieron esforzándose en 1995, sacaron dos mini-álbums así como "God of grind", que era como "Penicillin SOC" con una pista extra. En 1996 elaboraron "Indwell", un álbum único en tanto que todas sus pistas eran instrumentales. También hubo un VHS con el mismo nombre que contenía los clips de cada canción de "Indwell" y en los que podíamos ver a los miembros del grupo.
1998 fue un gran año para Penicillin; lanzaron dos álbumes, "Limelight" y "Ultimate Velocity", y empezaron a deshacerse de parte de su aspecto visual. Basándose en la famosa obra de William Shakespeare, representaron "Hamlet Rock Opera" que fue lanzada en VHS junto con su banda Sonora. Un año más tarde, sacaron su primer recopilatorio, "This is Penicillin 1994 ~1999".
El nuevo milenio trajo nuevos trabajos, incluidos Union Jap y un gran número de singles. No es de extrañar que su siguiente álbum se titulase "Singles", y contuviese todos los singles de la banda hasta el momento. Un DVD con el mismo título fue lanzado con los clips. Terminaron el 2001 con otro álbum, "Nuclear Banana", y el single "Fukai no Suna".
Aunque los miembros de Penicillin se embarcaron en sus proyectos en solitario desde 1996, pero han continuado trabajando juntos y presentado al menos un álbum al año para deleite de sus fans. 2004 trajo "FLOWER CIRCUS" mientras que en 2005 vimos dos versiones diferentes de "hell bound heart", uno con un DVD con los PVs y el otro sin éste. En la primavera de 2006 lanzaron "Tsuki senko teru", antes de un nuevo single en septiembre.
En 2007, Penicillin abrió el año con su single "Grind Candy" y el anuncio de un concierto especial en el día de San Valentín para celebrar sus 15 años juntos en el Shibuya O-East. Un nuevo álbum, "Blue Heaven", fue publicado a finales de febrero, luego del cual el grupo se embarcó en una corta gira. El último concierto de esta fue en el CLUB QUATTRO en Shibuya.
