Composé des frères Gaëtan et Amaël, ainsi que leur ami Antonin, Pony Pony Run Run voit le jour en 2005. Ces trois jeunes musiciens d'origine nantaise se sont rencontrés à l'école des Beaux Arts de leur ville natale.

Le nom du groupe est alors inspiré de la pub Juvamine ainsi que de plusieurs noms de groupe célèbres tels que Duran Duran, Talk Talk et Wet Wet Wet . Avec Amaël à la basse, Antonin aux claviers et Gaëtan à la guitare ainsi qu'au chant, Pony Pony Run Run joue une musique pop déjantée et aux influences multiples.