La banda fue fundada en 1989 con Sawao Yamanaka como vocalista, Shinichiro Sato detrás de la batería, Yoshiaki Manabe en la guitarra y Kenji Ueda en el bajo. Al principio, buscaron suerte con varios demos bajo el nombre The Coinlocker Babies hasta que firmaron un contrato con la disquera indie Captain Records y realizaron su primer su primer álbum debut en 1990.
Su primer gran álbum, Moon Gold, salió al año siguiente por medio de la disquera Poly Canyon. Ueda, bajista y líder de la banda, dejó la agrupación poco después de la grabación de su segundo full álbum, White Incarnation, para empezar su carrera como solista y convertirse en productor.
Tetsuya Kishima tomó su lugar (pero fue anunciado como un miembro de apoyo para respetar la alineación original) y the pillows cambiaron de disqueras después de este pequeño rompimiento. Su debut como banda major fue con el álbum Kool Spice y fue realizado en 1994 por King Records.
Empezaron a organizar eventos llamados Delicious Bump Show!! en 1996. El éxito comercial de la banda vino con el lanzamiento de varios sencillos en el siguiente año. Su estilo comenzó a ser más pesado comparado con sus trabajos previos que tenían algunas canciones con influencias de jazz. Su mascota Búster-kun (la cual parece una mezcla entre un perro y un oso teddy) también fue presentada, permitiendo que los seguidores del grupo se convirtieran en los little busters.
En 1999, Sawao fundó su propia disquera. Bandas de rock alternativo como noodles o monokuro firmaron con la disquera Delicious. Kanashima abandonó la agrupación y fue remplazado por Jun Suzuki en el bajo.
Uno de los más importantes acontecimientos en su carrera fueron fue el siguiente: el Estudio Gainax (famoso por animes como Nadia o Neon Genesis Evangelion) aprobó los tres álbumes más recientes de the pillows para su nuevo anime FLCL (furikuri). La banda produjo dos sencillos adicionales para éste: Ride on shooting star y I think I can. Este hecho les permitiría convertirse en famosos fuera de su pueblo natal y asegurar su éxito internacional.
En los siguientes tres años, Sawao se mantuvo trabajando en su disquera y realizó algunos trabajos como solista, mientras que Manabe también sacó dos producciones en solitario. El álbum Penalty Life de the Pillows, el cual fue realizado en el 2003, sería lanzado a la venta dos años después en Estados Unidos.
Debido al 15 aniversario de the pillows, bandas como Ellegarden, noodles, Straightener, Bump Of Chicken y Mr. Children grabaron un álbum tributo. El 2004 también ha sido el año más activo para el grupo.
Ellos tuvieron su primer concierto en los Estados Unidos junto a la banda noodles,en el famoso festival SXSW en Marzo de 2005, seguido de una gira a través del país pasando por varias ciudades importantes y promocionando su disco Penalty Life.
Sawao trabajó con el bajista de GLAY, Jiro, y el baterista de Straightener, Shinpei, en el proyecto llamado The Predators.
El año 2006 comenzó con el lanzamiento de su álbum más reciente My Foot y ahora podemos esperar más ideas nuevas por parte de the pillows en este año.
