Bändi sai alkunsa vuonna 1989, jolloin kokoonpanoon kuuluivat Sawao Yamanaka (laulu), Shinichiro Sato (rummut), Kenji Ueda (basso) ja Yoshiaki Makabe (kitara). Aluksi The Coinlocker babies -nimeä kantanut bändi julkaisi muutaman demon, ennen sopimustaan indieslevy-yhtiö Captain Records:n kanssa. Ensimmäisen minialbuminsa he julkaisivat vuotta myöhemmin, 1990.
Seuraavana vuonna, levy-yhtiön vaihduttua Poly Canyon:ksi, the pillows julkaisi ensimmäisen kokopitkän albuminsa nimeltä Moon Gold. Muutokset saivat jatkoa jäsentenvaihdoksen muodossa jo hieman toisen pitkäsoiton, White Incarntion:in äänitysten jälkeen kun basistina ja johtohahmona tunnettu Ueda jätti bändin, suuntasi soolouralle ja ryhtyi tuottajaksi. Tämän paikalle liittyi (väliaikaiseksi jäseneksi, alkuperäistä kokoonpanoa kunnioittaen) Tetsuya Kishima ja lyhyen tauon jälkeen oli jälleen edessä levy-yhtiön vaihdos, tällä kertaa King Recordsille. Ensimmäinen major-albumi, Kool spice, näki päivänvalon vuonna 1994.
the pillows:n kaupallinen läpilyönti tapahtui 1997, muutaman hitiksi nousseen singlejulkaisun myötä. Musiikillisessa mielessä heidän tyylinsä alkoi valua hivenen raskaampaan suuntaan, verrattuna alkuaikojen kappaleisiin, joista osassa on kuultavissa vivahteita jazzista. Alkunsa sai myös bändin maskotti, "Buster" (koiran ja nallekarhun sekoitusta muistuttava olio), jonka seurauksena bändin fanit saivat itselleen nimen "little busters".
Vuonna 1999 Sawao perusti oman levy-yhtiönsä nimeltä Delicios Label, jonka alaisuuteen kuului alternativebändejä, kuten the noodles tai monokuro. Kashima erosi bändistä ja hänen tilalleen bassoon liittyi Jun Suzuki.
Samoihin aikoihin sinetöityi myös the pillows:n kansainvälinen suosio, kun Studio Gainax (kuuluisa mm. animearjastaan Neon Genesis Evangelion) lisensoi bändin kolme viimeisintä albumia uutta animesarjaansa, FLCL - nimistä (luetaan "furikuri") varten. Bändi myös julkaisi sarjaa varten kaksi ylimääräistä singleä nimeltään Ride on the shooting star ja I think I can.
Seuraavan kolmen vuoden aikana Sawao keskittyi työskentelemään levy-yhtiösä ja soolojulkaisujensa parissa. Myös Manabe julkaisi kaksi soololevyä tuona aikana. Vuonna 2004, the pillows:n 15-vuotisen historian kunniaksi joukko bändejä, mm. Ellegarden, the noodles, Straightener, Bump of Chicken ja Mr. Chrildren äänitti tribuuttialbumin ja maaliskuussa 2005 the pillows puolestaan esiintyi ensimmäistä kertaa USA:ssa yhdessä the noodles:n kanssa kuuluisilla SXSW-festivaaleilla. Esiintymistä seurasi useisiin USA:n suurkaupunkeihin ulottunut kiertue, sekä Penalty Life- albumin (joka ilmestyi japanissa vuonna 2003) julkaisu niinikään USA:ssa.
Vuosi 2006 alkoi the pillows osalta lupaavasti uuden, My foot - albumin myötä ja kesäkuussa oli vuorossa jälleen USA:n kiertue. Miltei kaksikymmentä vuotta vanhan bändin vauhti ei siis ole ainakaan toistaiseksi hyytymässä.
