Fils de militaire, Josh Rouse naît à Paxton dans le Nebraska en 1972, et grandit dans d'autres états au gré des déménagements familiaux. De cette période il conservera l'envie de changer d'endroit pour composer.
Guitariste au sein de plusieurs groupes au lycée, Josh Rouse compose ses premières chansons à dix-huit ans. Signé sur le label Slow River (filiale de Rykodisc), il consacre le sujet de son premier album à sa terre natale. Publié en 1998, Dressed Up Like Nebraska reçoit des critiques favorables. L'année suivante, il s'installe à Nashville (Tennessee) où il fait la connaissance de Kurt Wagner, du groupe Lambchop. Tous deux réalisent l'EP Chester. Au printemps 2000, Josh Rouse sort son deuxième album, intitulé Home, suivi de Cold Blue Stars en 2002.
C'est avec son quatrième opus, baptisé 1972 en référence à sa naissance et aussi au son de cette époque, que la notoriété de Josh Rouse dépasse le cadre des initiés. L'album produit par Brad Jones dans un studio analogique est acclamé par la presse. Pendant que son mariage prend fin, le compositeur décide de quitter le territoire américain et enregistre le nostalgique et excellent Nashville, paru en 2005.
Réinstallé en Espagne, dans la commune de Puerto de Santa Maria près de Valence, Josh Rouse y trouve l'inspiration pour ses albums suivants, relevés d'une pointe de flamenco : Subtitulo (2006) est suivi de Country Mouse City House (2007). Début 2010, il revient avec un disque en partie chanté dans la langue de Cervantès et baptisé El Turista.
L'année suivante, c'est accompagné du pseudo-groupe The Long Vacations, composé de musiciens espagnols, que Josh Rouse fait à nouveau admirer la délicatesse de son écriture dans Josh Rouse and the Long Vacations. Le recueil teinté de nostalgie le conduit dans une profonde réflexion personnelle, évoquée dans l'album suivant The Embers of Time, paru en 2015.
