Después de haber tenido alguna experiencia musical en los años 80 en la escena underground de Tokyo, Kazuyoshi Saito inició su gran carrera como integrante de un grupo que creó junto a viejos amigos de la escuela. Cuando abandonó el grupo en 1991 ya tenía grandes planes de convertirse en un artista en solitario para mostrar su talento, sin las responsabilidades de estar en un grupo. Con esto comenzó a mandar demo-tapes a varios sellos, en los que tocaba varios instrumentos. A través de una serie de eventos, tuvo su primera presentación en televisión, el año 1992 en TBS. Los buscatalentos de BMG Fan House que estaban presentes quedaron fascinados con su carismática presentación y le dieron un contrato poco tiempo después.
En el verano de 1993 apareció un álbum muy íntimo, que ha pesar de tener solo siete canciones, dio mucha información personal acerca de Kazuyoshi. Para muchos críticos y especialmente para los fans, él fue junto a este álbum, el gran descubrimiento del año. Con un segundo álbum que salió después de una pequeña gira en la primavera de 1994, Saito probó que era un artista que había que tomar en serio, y no sólo un músico de un sólo exito. Su creciente popularidad le dio la posibilidad de presentarse en estaciones de television más grandes, con señal nacional.
En los siguientes tres años, lanzó tres álbumes, en los que Kazuyoshi trajó nuevos estilos como el jazz, aunque haya perdido a algunos fans de sus primeros lanzamientos para ganar éxito. Sin embargo, estos álbumes alcanzaron altos puestos en los rankings Oricon. En 1998 tomó una pequeña pausa de la escritura de canciones y lanzó un best-of y dos grabaciones en vivo. Al mismo tiempo empezó a realizar sus propios eventos y festivales universitarios que eran visitados princiaplmente por fans del folk-pop.
A fines de 1999 tuvo un radical cambio, no sólo terminó su contrato con BMG para firmar con Victor Entertainment, sino que además empezó a escribir la mayoría de sus letras en inglés. Aunque su álbum "COLD TUBE" era bastante más orientado al pop en comparación con sus trabajos anteriores, logró mantener su antiguo estilo en la selección de las canciones, con lo que mantuvo felices a sus antiguos fans. Después de un pequeño viaje en un nuevo género, volvió en 2001 al concepto que lo hizo famoso: el folk rock con guitarra acústica. Con su álbum del año 2002, estaba volviendo a sus origenes de rock.
En 2004 realizó un tributo a una de sus grandes inspiraciones con el cover de la canción Yami no Kokuhaku (Existir en la oscuridad) que fue incluido en el álbum "Blue - A Tribute to Yutaka Ozaki". Además de los conciertos en honor a Yutaka Ozaki, Kazuyoshi se presentó por primera vez en su carrera en el Fuji Rock Festival. Al año siguiente, Kazuyoshi se encargó de el mismo para otro homenaje, esta vez para el grupo The ROOSTERS(Z). A fines del año 2005, lanzó dos álbumes best-of, desde entonces las cosas han estado algo quietas alrededor de él.
