Nuo pat mažens vienas kitą pažinoję Jeremy Dawson (bosas, klavišai) ir Chad Petree (vokalas, gitara) 2002-aisiais, metę ankstesnius savo projektus, įkūrė grupę, kurios dabartinė sudėtis susiformavo tik 2004-aisiais — atėjus vokalistei Carah Faye Charnow ir būgnininkui Mikey Martin. „Shiny Toy Guns“ gan greitai išpopuliarėjo gimtojoje Kalifornijoje ir išleido pirmąją versiją albumo „We Are Pilots“. Grupės, neapsiribojančios vienu stiliumi ir sugebančios derinti indie, synthpop ir elektroniką, singlu išleistą dainą „Le Disko“ galėjome išgirsti mobiliojo telefono Motorola RAZR 2 reklamoje.