Musicien de la scène électronique parisienne des années 2000, Kavinsky s'est rapidement fait remarquer grâce à ses sonorités analogiques très typées 80's avec Testarossa Autodrive pour point d'orgue. Artiste de scène avant tout, et malgré un faible nombre de productions personnelles, ses compositions font partie des références des années 2010. Il sort un premier EP nommé Teddy Boy sur le label Record Makers en 2006, suivi de 1986 en 2007 sur le même label. Il a été remixé à plusieurs reprises par Mr. Oizo, Arpanet, A-Trak ou encore SebastiAn. En 2007, il partage la scène avec Klaxons et SebastiAn en première partie de la tournée mondiale de Daft Punk.

En 2001, il débute comme acteur dans Nonfilm, premier moyen-métrage de son ami compositeur Quentin Dupieux (plus connu sous le pseudonyme de Mr. Oizo). Il y interprète un des rôles principaux aux côtés de Sébastien Tellier, musicien lui aussi. Il refera alors l'acteur à l'occasion, toujours dans des productions en marges et lorgnant vers l'humour absurde. Ainsi, la même année, il apparaît dans le clip de Benjamin Diamond Fit Your Heart, réalisé par Béchir Jouini. Il jouera aussi un petit rôle dans Aaltra, de Benoît Delépine et Gustave Kervern (2003), avant d'interpréter un garagiste joueur de petites cuillères dans Atomik Circus, le retour de James Bataille de Didier Poiraud et Thierry Poiraud sorti en 2004. C'est sur ce tournage qu'il rencontre le réalisateur et acteur belge Bouli Lanners, qui l'embauche pour Ultranova sorti en 2005. En 2007, il obtient son véritable grand rôle en incarnant Dan, le chef de la bande des Chivers, dans Steak, de Quentin Dupieux avec Éric et Ramzy.

En 2010, il sort Nightcall, un nouvel EP, produit par Guy-Manuel de Homem-Christo des Daft Punk. Il s'agit d'un duo avec Lovefoxxx du groupe CSS. Nightcall apparaîtra notamment sur la bande originale de Drive1. Le titre se hissera à la dixième place des ventes2. Fin 2010, dans une interview, il annonce qu'il travaille avec son ami SebastiAn sur son prochain album3. En avril 2012, son titre Road Game est dévoilé et est utilisé dans une publicité pour Mercedez-Benz4. En novembre 2012, Road Game est également utilisé dans la publicité du jeu vidéo Hitman Absolution. Un EP intitulé Protovision sort le 10 décembre 2012, il précède la sortie de l'album Outrun5. En décembre 2012 le morceau Odd Look est utilisé dans une publicité pour BMW, avant de paraître sur l'album Outrun quelques mois plus tard, le 25 février 20136. Début janvier 2013, Kavinsky révèle via son compte Twitter sa participation à la bande sonore du jeu vidéo Grand Theft Auto V dans lequel il animera une radio dédiée aux musiques électroniques.