Keiji Haino naît le 3 mai 1954 à Chiba. Influencé par le dramaturge Antonin Artaud durant son adolescence, il envisage d'abord de se lancer dans le théâtre. L'écoute du deuxième album des The Doors est cependant une révélation : il se tournera désormais vers la musique. Les premiers groupes avec lesquels il tourne jouent du blues ou de la musique expérimentale.
Il fonde en 1971 le groupe de rock improvisé Lost Aaraaf, au sein duquel il commence à expérimenter différents types de vocaux. Puis il collabore avec l'artiste de rock psychédélique Magical Power Mako, avec qui il joue sur le plateau de l'émission télévisée Hiruma no purezento en 1973. La prestation est si dérangeante que de nombreux téléspectateurs envoient des lettres de plainte à la direction de la chaîne. Une année plus tard, Keiji Haino collabore avec le célèbre compositeur Tôru Takemitsu pour l'écriture de la bande originale du film Himiko.
Après la dissolution de Lost Aaraaf en 1975, il commence à jouer de la guitare et développe ses propres théories sur le rythme et l'espace. Il forme quatre années plus tard son projet principal, Fushitsusha, qui connaîtra de nombreux changements de membres sans jamais cesser de jouer pour autant. En cette fin d'années 70, la musique du groupe est alors orientée hard rock.
Au début des années 80, Keiji Haino sort son premier album en solo, Watashi dake?, puis il se rend aux Etats-Unis et collabore avec de nombreux artistes d'horizons divers. Il rentre au Japon en 1988 et inclut les percussions et la danse Budô à ses performances solo, représentations au sein desquelles il montre directement les fruits de son long cheminement théorique sur l'espace, le rythme et la respiration.
Durant les années 90 il collabore avec le groupe de musique électronique et ethnique Nijiumu. C'est aussi à cette période que les performances de Haino se multiplient à l'étranger, aux Etats-Unis comme en Europe. Il forme également le groupe VAJRA en 1995, avec Kan Mikami et Toshiaki Ishizuka, puis il apparaît dans le film Endless Fruits dans lequel il joue son propre rôle. Il fonde encore un nouveau groupe en 1998, Aihiyo, avec lequel il reprend "comme ils devraient l'être" des titres aux répertoires variés, qu'ils appartiennent à la pop japonaise des années 60, aux groupes de renommée internationale tels que les Rolling Stones, ou encore aux comptines pour enfants. Il joue la même année avec le groupe de drone metal Boris.
En 2004, il fonde le projet Kikuri avec l'artiste noise Masami Akita, alias Merzbow, puis il apparaît une année plus tard au sein du film documentaire AA, réalisé par Shinji Aoyama et consacré au célèbre critique de musique défunt Aquirax Aida. Il forme à cette même époque bien d'autres groupes, tels que Head Rush, knead, ou Sanhedrin.
Ces dernières années il collabore particulièrement avec des poètes, des danseurs, ou des acteurs de théâtre. Il s'illustre également en tant que DJ et présente quelquefois ses peintures lors d'expositions.
