Kyllästyttyään toimistotyöhön Naoko Yamano (laulu) ja Michie Nakatani (basso) päättivät perustaa harrastuksenaan yhtyeen vuonna 1981. Vokalistin sisko Atsuko Yamano liittyi mainoksen nähtyään yhtyeen rumpaliksi.
Kuukausia myöhemmin, keväällä 1982, Shonen Knife esiintyi ensimmäistä kertaa kotikaupungissaan Osakassa Studio Onella. Vaikka katsomaan tuli vain 36 ihmistä, ilta oli virstanpylväs yhtyeelle. Bändi jatkoi soittamista, ja pian heitä lähestyttiin itsenäisestä levy-yhtiö Zero Recordsista. Levytyssopimus syntyi nopeasti.
Kun yhtyeen musiikki tuli jakeluun, albumeita päätyi myös meren yli Yhdysvaltoihin, missä yhtye teki suuren läpimurron. Vuonna 1985 yhdysvaltalainen itsenäinen levy-yhtiö K julkaisi ensimmäisenä yhtyeen levyjä ulkomailla. Bändin suosio lisääntyi ja toinenkin amerikkalainen levy-yhtiö, Subversive Records, huomasi trion potentiaalin ja julkaisi heidän toisen albuminsa vuonna 1987.
Vaikka yhtye oli vielä pieni ja tuntematon Japanissa, USA:ssa sen suosio kasvoi nopeasti. Shonen Knife esiintyi ensimmäistä kertaa ulkomailla 1989, ja fanit pyysivät useita encoreja ja huusivat kappaleiden nimiä. Sellaiseen yhtye ei ollut ennen törmännyt, joten he tulivat mielellään takaisin useita kertoja viihdyttämään fanejaan. Marraskuussa 1989 noin 30 länsimaalaista artistia osallistui Every Band Has a Shonen Knife Who Loves Them -kokoelma-albumille, jolla oli covereita Shonen Knifen kappaleista.
Vuonna 1991 Shonen Knife herätti nousevan yhtyeen Nirvanan huomion. Oltuaan ensin Nirvanan lämmittelijänä heidän kiertäessään Britanniaa Shonen Knife teki oman kiertueensa maassa ja liittyi sitten taas Nirvanan mukaan bändin Japanin-kiertueelle.
Yhtyeen suosio kasvoi entisestään, ja he tekivät ensimmäisen major-levytyssopimuksensa USA:ssa Capitol Recordsin kanssa, mutta seuraavana vuonna he vaihtoivat Virginille. Albumin Rock Animal julkaisun mukana ilmestyi myös video Tomato Head, joka pyöri USA:n MTV:llä ja se näytettiin myös kanavan hittishow Beavis and Buttheadissa.
Pian bändille alkoi sadella major-sopimuksia ympäri maailmaa, ja sivuprojektina alkaneesta yhtyeestä tuli jäsenten pääasiallinen työ. Yhtye lähti ensimmäiselle Euroopan-kiertueelleen, esiintyi 1992 New Yorkin New Music Seminarissa ja 1994 esiintyi useissa tv- ja radio-ohjelmissa USA:ssa, esimerkiksi Conan O'Brienissa.
Shonen Knife osallistui The Carpenters -tribuuttialbumille ja heidän musiikkiaan käytettiin amerikkalaisen elokuvan, Last Supperin, lopputeemana sekä Microsoftin mainoksissa. Vuonna 1998 yhtye esitti Microsoftin päätoimistossa USA:ssa show'n, joka lähetettiin maailmalle Internetin kautta.
Vuotta myöhemmin, joulukuussa 1999, yhtye koki ensimmäisen jäsenvaihdoksensa 18 vuoteen, kun Michie lähti. Silloin Atsuko otti hoidettavakseen rumpujen lisäksi basson, kunnes vuonna 2001 rumpali Mana Nishiura liittyi bändiin ja Atsuko vaihtoi kokonaan bassoon. Kolme vuotta myöhemmin Manakin lähti, ja joutui seuraavana vuonna onnettomuuteen. Hän oli ollut kiertämässä USA:ta DMBQ:n kanssa ja kuoli New Jerseyssä sattuneessa onnettomuudessa. DMBQ ja Shonen Knife soittivat yhteiskeikan hänen muistokseen.
Yhtyeeseen liittyi uusi rumpali Etsuko. Nyt yhtye on viettänyt 25-vuotispäiväänsä, eikä hidastumisen merkkejä näy.
